Rekapitulace kurzu

Data Processing in Shell

Susan Sun

Data Person

Stahování dat na příkazovém řádku

• Stahování datových souborů pomocí curl a wget
• Dokumentace a manuály (např. man curl, wget --help)
• Stahování více souborů (např. wget --limit-rate=200k -i url_list.txt)

Zpracování dat na příkazovém řádku

• Úvod do nástroje csvkit
• Převod souborů do CSV pomocí in2csv
• Náhled dat pomocí csvlook, csvstat
• Filtrování dat pomocí csvcut, csvgrep
• Spojování souborů pomocí csvstack

Práce s databázemi na příkazovém řádku

• Práce s databázemi pomocí sql2csv, csvsql
• Pokročilé ETL příkazy v csvkit

Tvorba datových pipeline na příkazovém řádku

• Spouštění Pythonu na příkazovém řádku
• Správa balíčků Pythonu pomocí pip
• Automatizace pipeline pomocí cron

Děkujeme! Na shledanou!

Data Processing in Shell