Podsumowanie kursu

Przetwarzanie danych w wierszu poleceń

Susan Sun

Data Person

Pobieranie danych w wierszu poleceń

• Pobieranie plików danych za pomocą curl i wget
• Dokumentacja i instrukcje (np. man curl, wget --help)
• Pobieranie wielu plików (np. wget --limit-rate=200k -i url_list.txt)

Przetwarzanie danych w wierszu poleceń

• Zestaw narzędzi do danych: csvkit
• Konwersja plików do CSV za pomocą in2csv
• Podgląd danych: csvlook, csvstat
• Filtrowanie danych: csvcut, csvgrep
• Łączenie plików za pomocą csvstack

Operacje na bazach danych w wierszu poleceń

• Operacje na bazach danych: sql2csv, csvsql
• Zaawansowane polecenia ETL typu SQL z csvkit

Budowanie potoków danych w wierszu poleceń

• Uruchamianie Pythona w wierszu poleceń
• Zarządzanie pakietami Pythona za pomocą pip
• Automatyzacja modeli i potoków za pomocą cron

Dziękujemy! Do zobaczenia!

Przetwarzanie danych w wierszu poleceń