Ringkasan kursus

Pemrosesan Data di Shell

Susan Sun

Data Person

Mengunduh data di command line

• Cara mengunduh file data dengan curl dan wget
• Dokumentasi, manual (mis. man curl, wget --help)
• Unduh banyak file (mis. wget --limit-rate=200k -i url_list.txt)

Pemrosesan data di command line

• Pengenalan tool data command line: csvkit
• Konversi file ke CSV dengan in2csv
• Pratinjau dengan csvlook, csvstat
• Saring data dengan csvcut, csvgrep
• Gabungkan banyak file data dengan csvstack

Manipulasi basis data di command line

• Manipulasi basis data dengan sql2csv, csvsql
• Perintah ETL mirip SQL tingkat lanjut dengan csvkit

Membangun pipeline data di command line

• Menjalankan Python di command line
• Manajemen paket Python dengan pip
• Otomatiskan model dan pipeline build Python dengan cron

Terima kasih! Sampai jumpa!

Pemrosesan Data di Shell