Ripasso del corso

Elaborazione dei dati in Shell

Susan Sun

Data Person

Scaricare dati da riga di comando

• Come scaricare file con curl e wget
• Documentazione e manuali (es. man curl, wget --help)
• Download multipli (es. wget --limit-rate=200k -i url_list.txt)

Elaborare dati da riga di comando

• Toolkit da riga di comando per dati: csvkit
• Converti file in CSV con in2csv
• Anteprima con csvlook, csvstat
• Filtra dati con csvcut, csvgrep
• Unisci più file con csvstack

Gestire database da riga di comando

• Gestione database con sql2csv, csvsql
• Comandi ETL avanzati in stile SQL con csvkit

Creare pipeline dati da riga di comando

• Eseguire Python da riga di comando
• Gestire pacchetti Python con pip
• Automatizzare modelli e pipeline di build con cron

Grazie! A presto!

Elaborazione dei dati in Shell