파이썬으로 웹 스크래핑

Python으로 하는 웹 스크레이핑

Thomas Laetsch

Data Scientist, NYU

비즈니스 인사이트

기업은 무엇을 원하나요?

  • 가격 비교
  • 고객 만족도
  • 잠재 고객 발굴
  • 그 외 다양함
Python으로 하는 웹 스크레이핑

개인적 활용

무엇을 할 수 있을까요?

  • 즐겨 찾는 사이트에서 밈을 검색합니다.
  • 중고 게시글에서 원하는 기기를 자동으로 찾아봅니다.
  • 소셜 사이트를 스크래핑해 인기 주제를 찾습니다.
  • 요리 블로그를 스크래핑해 특정 레시피나 후기만 모읍니다.
  • 그 외 다양함
Python으로 하는 웹 스크레이핑

제 작업 소개

AVorg 로고

Python으로 하는 웹 스크레이핑

파이프 드림

파이프라인 설정: 수집 및 처리

Python으로 하는 웹 스크레이핑

파이프 드림: 설정

파이프라인 설정

설정(Setup)

  • 목표를 분명히 합니다.
  • 이를 돕는 소스를 찾습니다.
Python으로 하는 웹 스크레이핑

파이프 드림: 수집

파이프라인 설정: 수집

수집(Acquisition)

  • 온라인에서 원시 데이터를 읽습니다.
  • 사용할 수 있도록 형식을 맞춥니다.
Python으로 하는 웹 스크레이핑

파이프 드림: 처리

파이프라인 설정: 수집 및 처리

처리(Processing)

  • 다양한 옵션!
Python으로 하는 웹 스크레이핑

어떻게 할까요?

이번 강의의 초점

  • 수집!
  • (python에서 scrapy 사용)
Python으로 하는 웹 스크레이핑

함께하시겠습니까?

Python으로 하는 웹 스크레이핑

Preparing Video For Download...