Filtrowanie danych za pomocą csvkit
Przetwarzanie danych w wierszu poleceń
Susan Sun
Data Person
Czym jest filtrowanie danych?
Możemy utworzyć podzbiór danych przez:
- Filtrowanie według kolumny
- Filtrowanie według wiersza
csvcut: filtruje dane według nazwy lub pozycji kolumny
csvgrep: filtruje dane według wartości wiersza – przez dokładne dopasowanie, wzorzec lub wyrażenia regularne
csvcut: filtrowanie danych według kolumny
csvcut: filtruje i przycina pliki CSV według nazwy kolumny lub pozycji kolumny
Dokumentacja:
csvcut -h
usage: csvcut [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
[-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-S] [-H]
[-K SKIP_LINES] [-v] [-l] [--zero] [-V] [-n] [-c COLUMNS]
csvcut: filtrowanie danych według kolumny
Użyj opcji --names lub -n, aby wyświetlić wszystkie nazwy kolumn w Spotify_MusicAttributes.csv.
csvcut -n Spotify_MusicAttributes.csv
1: track_id
2: danceability
3: duration_ms
csvcut: filtrowanie danych według kolumny
1: track_id
2: danceability
3: duration_ms
Zwraca pierwszą kolumnę według pozycji:
csvcut -c 1 Spotify_MusicAttributes.csv
track_id
118GQ70Sp6pMqn6w1oKuki
6S7cr72a7a8RVAXzDCRj6m
csvcut: filtrowanie danych według kolumny
1: track_id
2: danceability
3: duration_ms
Zwraca tylko pierwszą kolumnę według nazwy:
csvcut -c "track_id" Spotify_MusicAttributes.csv
track_id
118GQ70Sp6pMqn6w1oKuki
6S7cr72a7a8RVAXzDCRj6m
csvcut: filtrowanie danych według kolumny
1: track_id
2: danceability
3: duration_ms
Zwraca drugą i trzecią kolumnę według pozycji:
csvcut -c 2,3 Spotify_MusicAttributes.csv
danceability,duration_ms
0.787,124016.0
0.777,128016.0
0.795999999999999,132742.0
csvcut: filtrowanie danych według kolumny
1: track_id
2: danceability
3: duration_ms
Zwraca drugą i trzecią kolumnę według nazwy:
csvcut -c "danceability","duration_ms" Spotify_MusicAttributes.csv
danceability,duration_ms
0.787,124016.0
0.777,128016.0
0.795999999999999,132742.0
csvgrep: filtrowanie danych według wartości wiersza
csvgrep:
- filtruje według wiersza za pomocą dokładnego dopasowania lub wyrażeń regularnych
- musi być użyty z jedną z poniższych opcji:
-m: wartość wiersza do dokładnego dopasowania
-r: wzorzec wyrażenia regularnego
-f: ścieżka do pliku
Dokumentacja:
csvgrep -h
csvgrep: filtrowanie danych według wartości wiersza
Znajdź w Spotify_Popularity.csv wpis, gdzie track_id = 5RCPsfzmEpTXMCTNk7wEfQ
csvgrep -c "track_id" -m 5RCPsfzmEpTXMCTNk7wEfQ Spotify_Popularity.csv
track_id,popularity
5RCPsfzmEpTXMCTNk7wEfQ,7.0
csvgrep -c 1 -m 5RCPsfzmEpTXMCTNk7wEfQ Spotify_Popularity.csv
track_id,popularity
5RCPsfzmEpTXMCTNk7wEfQ,7.0
Czas na filtrowanie danych z csvkit!
Przetwarzanie danych w wierszu poleceń
