Cursusoverzicht

Gegevens verwerken in de Shell

Susan Sun

Data Person

Data downloaden via de command line

• Data downloaden met curl en wget
• Documentatie, handleidingen (bijv. man curl, wget --help)
• Meerdere bestanden downloaden (bijv. wget --limit-rate=200k -i url_list.txt)

Dataverwerking via de command line

• Intro tot command-line datatoolkit: csvkit
• Bestanden naar CSV converteren met in2csv
• Voorvertoning met csvlook, csvstat
• Data filteren met csvcut, csvgrep
• Meerdere bestanden samenvoegen met csvstack

Databases bewerken via de command line

• Databases bewerken met sql2csv, csvsql
• Geavanceerde SQL-achtige ETL-commando's met csvkit

Datapijplijnen bouwen via de command line

• Python uitvoeren op de command line
• Python-pakketten beheren met pip
• Pythonmodellen en build-pijplijnen automatiseren met cron

Bedankt! Tot ziens!

Gegevens verwerken in de Shell