用 Python 进行网页爬取

Python Web 爬取

Thomas Laetsch

Data Scientist, NYU

商业敏感度

企业关注什么？

• 价格对比
• 客户满意度
• 线索生成
• 还有更多！

贴近个人

您能做什么？

• 在常用网站搜索喜爱的表情包。
• 自动浏览分类广告找心仪数码产品。
• 爬取社交网站内容寻找热点话题。
• 爬取美食博客查找特定菜谱或评价。
• 还有更多！

关于我的工作

管道设想

管道设想：准备

准备

• 明确要做什么。
• 找到可用资源。

管道设想：获取

获取

• 从线上读取原始数据。
• 将数据整理为可用格式。

管道设想：处理

处理

• 方式多种多样！

如何入手？

本章重点

• 获取！
• （通过 python 使用 scrapy）

加入吗？

Python Web 爬取