기술연구

김경현 2020. 2. 12. 00:38

안녕하세요.

 

기술이 공유되지 않으면 미래의 사회는 지금보다 더욱 폐쇄적이고 불평등한 사회가 될 것입니다. 카피레프트(copyleft)는 개인의 지적재산권을 중시하는 기존의 카피라이트(copyright)에 대항해 사회적 공유를 강조하는 정신이자 운동입니다. DIY연구소는 카피레프트(copyleft) 정신과 4차 산업기술의 확산을 위하여 연구한 내용을 무료로 배포하고 있습니다. 

2019년 12월 이후 텐서플로 2.0 이전 버전으로 작성된 프로그램들이 온라인 Colaboratory 에서만 작동되어 코드와 파일은 구글드라이브에 업로드후 사용해야 합니다.

오늘은 김플 선생님의 동영상 공부후 (노이즈) 해석을 위한 인공지능 빅데이터 크롤링 내용을 공유합니다.

 

 

DIY연구소 김경현 배상 (010 8604 6802)

 
 

[교육내용]

 

☞ 30. 3D프린터 로봇제어를 위한 라즈베리파이

☞ 31. 3D프린터 로봇제어를 위한 AI 인공지능

☞ 32. 3D프린터 로봇제어를 위한 AI 스마트미러

 33. 3D프린터 로봇제어를 위한 블루투스 앱

 42. 앱인벤터로 애니메이션 만들기 (이론)

 43. 앱인벤터로 스마트폰 제어하기 (제작)

 

 

 

 

 

[인공지능 빅데이터 크롤링]

 

☞ 코딩자료 : 다운로드

 

 다음주가 = (현재주가 + 정보) + (노이즈)

 

 

 

 

 

 

 

 

 

파이썬으로 크롤링 하기

 

 

 

일자별 뉴스검색 : https://www.kinds.or.kr

 

□ 한국거래소 주식정보 크롤링

 

☞ 한국거래소 사이트

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

□ 삼성전자 뉴스 크롤링

 

crawling.zip

index.py
0.00MB

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

□ 검색어 뉴스 크롤링

 

crawling1.zip

index.py
0.00MB

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 파이썬으로 네이버 모바일 검색결과 크롤링 후 csv 파일로 저장

 

 

 

 

 

 

□ 환경설정 : beautifulsoup4

 

crawling1.py
0.00MB
삼성전자.csv
0.00MB

 

 

 

 

 

 

 

□ 모바일 네이버 개발자 도구로 확인

 

 

 

 

 

 

 

 

 

□ 모바일 네이버 개발자 도구로 확인

 

 

 

□ 한글 검색어를 웹사용 형식으로 변환 : quote_plus

 

 

 

 

 

 

 

□ 모바일 네이버 개발자 도구로 확인

 

 

 

 

□ 첫번째 검색내용 표시 : BeautifulSoup

 

 

 

 

 

 

 

 

 

 

 

□ 검색내용 반복 표시 : for 문

 

 

 

 

 

□ 첫번째 검색내용 리스트내 리스트 구성후 표시 : [] 리스트 문

 

 

 

 

 

 

 

□ 삼성전자 검색내용 csv 파일로 저장

 

crawling1.py
0.00MB

 

삼성전자.csv
0.00MB

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 파이썬으로 csv 파일 쓰기 추가하기 읽기

 

 

 

□ 쓰기

 

 

 

한줄에 3 숫자 쓰기

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

한줄에 3 리스트 쓰기

 

 

 

 

 

 

 

줄에 3 리스트 쓰기

 

 

 

 

 

 

 

□ 추가

 

기존 csv 에 세줄 3 리스트 추가

 

 

 

 

 

 

 

□ 읽

 

최종 csv 읽기

 

csv1_sample.csv
0.00MB

 

 

 

 

최종 csv 와 형식 읽기

 

 

 

 

 

 

 

 파이썬으로 txt 파일 쓰기 추가하기 읽기

 

 

 

□ 쓰기

 

 

text1.py
0.00MB

 

text1_sample.txt

 

 

 

 

 

 

□ 추가

 

 

 

 

 

 

□ 리스트 쓰기

 

 

 

 

 

□ 읽기

 

 

 

 한줄씩 읽기

 

 

 

 여러줄씩 리스트로 읽기

 

 

 

 Close 없이 읽기

 

 

 

 

 

 네이버 이미지 검색결과 파이썬으로 크롤링하기

 

 

 

 

crawling2_img.py
0.00MB

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

- 끝 -

 

 

 

 

 

 

사업자 정보 표시
| | | 사업자 등록번호 : -- | TEL : -- | 사이버몰의 이용약관 바로가기