Tổng kết khóa học

Xử lý dữ liệu trên Shell

Susan Sun

Data Person

Tải dữ liệu bằng dòng lệnh

• Cách tải tệp dữ liệu bằng curl và wget
• Tài liệu, hướng dẫn (ví dụ: man curl, wget --help)
• Tải nhiều tệp (ví dụ: wget --limit-rate=200k -i url_list.txt)

Xử lý dữ liệu bằng dòng lệnh

• Giới thiệu bộ công cụ dòng lệnh cho dữ liệu: csvkit
• Chuyển đổi tệp sang CSV bằng in2csv
• Xem nhanh bằng csvlook, csvstat
• Lọc dữ liệu với csvcut, csvgrep
• Ghép nhiều tệp dữ liệu bằng csvstack

Làm việc với cơ sở dữ liệu trên dòng lệnh

• Làm việc với cơ sở dữ liệu bằng sql2csv, csvsql
• Lệnh ETL nâng cao giống SQL với csvkit

Xây dựng pipeline dữ liệu trên dòng lệnh

• Chạy Python trên dòng lệnh
• Quản lý gói Python bằng pip
• Tự động hóa mô hình và pipeline xây dựng bằng cron

Xin cảm ơn! Hẹn gặp lại!

Xử lý dữ liệu trên Shell