Recapitularea cursului

Procesarea datelor în linia de comandă

Susan Sun

Data Person

Descărcarea datelor din linia de comandă

• Descărcarea fișierelor de date cu curl și wget
• Documentații, manuale (ex. man curl, wget --help)
• Descărcări multiple (ex. wget --limit-rate=200k -i url_list.txt)

Procesarea datelor din linia de comandă

• Introducere în setul de instrumente csvkit
• Conversia fișierelor în CSV cu in2csv
• Previzualizare cu csvlook, csvstat
• Filtrarea datelor cu csvcut, csvgrep
• Combinarea fișierelor cu csvstack

Manipularea bazelor de date din linia de comandă

• Manipularea bazelor de date cu sql2csv, csvsql
• Comenzi avansate de tip ETL cu csvkit

Construirea pipeline-urilor de date din linia de comandă

• Executarea Python din linia de comandă
• Gestionarea pachetelor Python cu pip
• Automatizarea modelelor și pipeline-urilor cu cron

Mulțumim! La revedere!

Procesarea datelor în linia de comandă