课程回顾

Shell 中的数据处理

Susan Sun

Data Person

命令行中的数据下载

• 使用 curl 与 wget 下载数据文件
• 文档与手册（如 man curl, wget --help）
• 批量下载（如 wget --limit-rate=200k -i url_list.txt）

命令行中的数据处理

• 命令行数据工具集：csvkit
• 用 in2csv 转为 CSV
• 用 csvlook、csvstat 预览
• 用 csvcut、csvgrep 筛选
• 用 csvstack 追加多文件

命令行中的数据库操作

• 使用 sql2csv、csvsql 操作数据库
• 使用 csvkit 进行类 SQL 的高级 ETL

命令行构建数据流水线

• 在命令行执行 Python
• 用 pip 管理 Python 包
• 用 cron 自动化 Python 模型与构建流水线

感谢参与！再会！

Shell 中的数据处理