Kurssammanfattning

Databehandling i kommandoraden

Susan Sun

Data Person

Ladda ned data via kommandoraden

• Ladda ned datafiler med curl och wget
• Dokumentation och manualer (t.ex. man curl, wget --help)
• Ladda ned flera filer (t.ex. wget --limit-rate=200k -i url_list.txt)

Databearbetning via kommandoraden

• Introduktion till kommandoradsverktyget csvkit
• Konvertera filer till csv med in2csv
• Förhandsgranska data med csvlook, csvstat
• Filtrera data med csvcut, csvgrep
• Slå ihop flera datafiler med csvstack

Databashantering via kommandoraden

• Databashantering med sql2csv, csvsql
• Avancerade SQL-liknande ETL-kommandon med csvkit

Bygg datapipelines via kommandoraden

• Kör Python via kommandoraden
• Pakethantering i Python med pip
• Automatisera Python-modeller och byggpipelines med cron

Tack och hej då!

Databehandling i kommandoraden