2021 컴퓨테이셔널 방법론 부트캠프

은진수

[email protected]

강의 순서

• Session 1
  • Web Crawler 소개
  • 실습: urllib, bs4 사용해보기
• Session 2
  • 실습: Wikipedeia에서 천만관객 돌파 영화 크롤링
• Session 3
  • 실습: Selenium 사용해보기

• 강의 대상

  • python을 어느 정도 다룰 줄 알고, 웹 크롤링에 관심이 있는 사람

• 강의 내용

  • 브라우저가 아닌 python을 통해 웹 페이지에 접근하기
  • html을 가져와 원하는 정보 수집하기

• 알 수록 도움 되는 부분

  • python
  • html, javascript
  • DB
  • ...

Web Crawler(Web Scraping) 제작

• 인터넷으로 자동으로 데이터 수집하기

  • Screen scraping, Data Mining, Web Harvasting, Data Crawling...

  • Google: 페이지 검색을 위해 url 탐색 및 html 수집

  • API: 서버에서 직접 제공하는 Open API를 통해 데이터 수집

    • Facebook, Instagram - Graph API

      Graph API - Documentation - Facebook for Developers

    • Twitter

      Documentation Home

    • League of Legends

      Riot Developer Portal

  • 기사, 커뮤니티 댓글, 영화 평점 등을 프로그램을 통해 돌아다니며 수집