課程總結

在 Shell 中進行資料處理

Susan Sun

Data Person

命令列下載資料

• 使用 curl 與 wget 下載資料檔
• 文件與手冊（如 man curl、wget --help）
• 批次下載多個檔案（如 wget --limit-rate=200k -i url_list.txt）

命令列處理資料

• 命令列資料工具包：csvkit 介紹
• 用 in2csv 轉換檔案為 CSV
• 用 csvlook、csvstat 預覽與摘要
• 用 csvcut、csvgrep 篩選資料
• 用 csvstack 合併多個資料檔

命令列操作資料庫

• 用 sql2csv、csvsql 操作資料庫
• 使用 csvkit 進行進階類 SQL 的 ETL 指令

命令列建置資料 pipeline

• 在命令列執行 Python
• 用 pip 管理 Python 套件
• 用 cron 自動化 Python 模型與建置 pipeline

謝謝你！下次見！

在 Shell 中進行資料處理