Thu thập dữ liệu web với Python

Web Scraping với Python

Thomas Laetsch

Data Scientist, NYU

Hiểu nghiệp vụ

Doanh nghiệp cần gì?

  • So sánh giá
  • Mức độ hài lòng khách hàng
  • Tạo khách hàng tiềm năng
  • …và còn nhiều nữa!
Web Scraping với Python

Khía cạnh cá nhân

Bạn có thể làm gì?

  • Tìm meme yêu thích trên các trang ưa thích.
  • Tự động duyệt rao vặt cho thiết bị bạn thích.
  • Thu thập nội dung mạng xã hội để tìm chủ đề hot.
  • Thu thập blog nấu ăn để tìm công thức hoặc đánh giá.
  • …và còn nhiều nữa!
Web Scraping với Python

Về công việc của tôi

AVorg.png

Web Scraping với Python

Chuỗi xử lý

pipeline_setup_acq_proc.png

Web Scraping với Python

Chuỗi xử lý: Chuẩn bị

pipeline_setup.png

Chuẩn bị

  • Hiểu mục tiêu cần làm.
  • Tìm nguồn để thực hiện.
Web Scraping với Python

Chuỗi xử lý: Thu thập

pipeline_setup_acq.png

Thu thập

  • Đọc dữ liệu thô từ Internet.
  • Định dạng dữ liệu để có thể dùng.
Web Scraping với Python

Chuỗi xử lý: Xử lý

pipeline_setup_acq_proc.png

Xử lý

  • Rất nhiều lựa chọn!
Web Scraping với Python

Thực hiện thế nào?

Trọng tâm

  • Thu thập!
  • (Dùng scrapy qua python)
Web Scraping với Python

Bạn tham gia chứ?

Web Scraping với Python

Preparing Video For Download...