用 Python 進行網頁爬蟲

Python 網頁爬蟲

Thomas Laetsch

Data Scientist, NYU

商業敏銳度

企業在意什麼？

• 比價
• 客戶滿意度
• 產生潛在名單
• ……以及更多！

貼近自己

你能做什麼？

• 在喜愛的網站搜尋喜歡的迷因。
• 自動瀏覽分類廣告，找心儀的裝置。
• 爬取社群內容，追蹤熱門話題。
• 爬取料理部落格，找特定食譜或評論。
• ……以及更多！

關於我的工作

資料管線藍圖

資料管線：設定

設定

• 釐清目標。
• 找到可用的資料來源。

資料管線：擷取

擷取

• 從線上讀取原始資料。
• 格式化資料以便使用。

資料管線：處理

處理

• 做法很多！

要怎麼做？

本課重點

• 擷取！
• （使用 python 的 scrapy）

你要加入嗎？

Python 網頁爬蟲