Kursrückblick

Datenverarbeitung in der Shell

Susan Sun

Data Person

Daten per Kommandozeile herunterladen

• So lädst du Datendateien mit curl und wget herunter
• Dokus und Handbücher (z. B. man curl, wget --help)
• Mehrere Dateien laden (z. B. wget --limit-rate=200k -i url_list.txt)

Datenverarbeitung auf der Kommandozeile

• Einführung ins Kommandozeilen-Toolkit: csvkit
• Dateien mit in2csv in CSV umwandeln
• Vorschau mit csvlook, csvstat
• Daten filtern mit csvcut, csvgrep
• Mehrere Dateien mit csvstack zusammenführen

Datenbanken auf der Kommandozeile bearbeiten

• Datenbanken bearbeiten mit sql2csv, csvsql
• Erweiterte SQL-ähnliche ETL-Befehle mit csvkit

Datenpipelines auf der Kommandozeile aufbauen

• Python auf der Kommandozeile ausführen
• Python-Pakete mit pip verwalten
• Python-Modelle und Build-Pipelines mit cron automatisieren

Danke! Bis bald!

Datenverarbeitung in der Shell