Stapla data och kedja kommandon med csvkit
Databehandling i kommandoraden
Susan Sun
Data Person
csvstack: stapla flera CSV-filer
csvstack: staplar rader från två eller fler CSV-filer
Dokumentation:
csvstack -h
usage: csvstack [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
[-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-S] [-H]
[-n GROUP_NAME] [--filenames]
csvstack: stapla flera CSV-filer
Stapla filerna Spotify_Rank6.csv och Spotify_Rank7.csv till en fil.
Förhandsgranska data för att kontrollera schemat:
csvlook Spotify_Rank6.csv
| track_id | popularity |
| ---------------------- | ---------- |
| 7JYCpIzpoidDOnnmxmHwtj | 6 |
| 0mmFibEg5NuULMwTVN2tRU | 6 |
csvstack: stapla flera CSV-filer
csvlook Spotify_Rank7.csv
| track_id | popularity |
| ---------------------- | ---------- |
| 118GQ70Sp6pMqn6w1oKuki | 7 |
| 6S7cr72a7a8RVAXzDCRj6m | 7 |
csvstack: stapla flera CSV-filer
Syntax:
csvstack Spotify_Rank6.csv Spotify_Rank7.csv > Spotify_AllRanks.csv
csvlook Spotify_AllRanks.csv
| track_id | popularity |
| ---------------------- | ---------- |
| 7JYCpIzpoidDOnnmxmHwtj | 6 |
| 0mmFibEg5NuULMwTVN2tRU | 6 |
| 118GQ70Sp6pMqn6w1oKuki | 7 |
| 6S7cr72a7a8RVAXzDCRj6m | 7 |
csvstack: stapla flera CSV-filer
csvstack -g "Rank6","Rank7" \
Spotify_Rank6.csv Spotify_Rank7.csv > Spotify_AllRanks.csv
csvlook Spotify_AllRanks.csv
| group | track_id | popularity |
| ----- | ---------------------- | ---------- |
| Rank6 | 7JYCpIzpoidDOnnmxmHwtj | 6 |
| Rank6 | 0mmFibEg5NuULMwTVN2tRU | 6 |
| Rank7 | 118GQ70Sp6pMqn6w1oKuki | 7 |
| Rank7 | 6S7cr72a7a8RVAXzDCRj6m | 7 |
csvstack: stapla flera CSV-filer
csvstack -g "Rank6","Rank7" -n "source" \
Spotify_Rank6.csv Spotify_Rank7.csv > Spotify_AllRanks.csv
csvlook Spotify_AllRanks.csv
| source| track_id | popularity |
| ----- | ---------------------- | ---------- |
| Rank6 | 7JYCpIzpoidDOnnmxmHwtj | 6 |
| Rank6 | 0mmFibEg5NuULMwTVN2tRU | 6 |
| Rank7 | 118GQ70Sp6pMqn6w1oKuki | 7 |
| Rank7 | 6S7cr72a7a8RVAXzDCRj6m | 7 |
kedja kommandon på kommandoraden
; kopplar ihop kommandon och kör dem sekventiellt
csvlook SpotifyData_All.csv; csvstat SpotifyData_All.csv
&& kopplar ihop kommandon, men kör det andra endast om det första lyckades
csvlook SpotifyData_All.csv && csvstat SpotifyData_All data.csv
kedja kommandon på kommandoraden
> omdirigerar utdata från det första kommandot till den angivna platsen
in2csv SpotifyData.xlsx > SpotifyData.csv
kedja kommandon på kommandoraden
| använder utdata från det första kommandot som indata till det andra
Exempel:
Utdata från csvcut är inte välformaterad:
csvcut -c "track_id","danceability" Spotify_MusicAttributes.csv
track_id,danceability
118GQ70Sp6pMqn6w1oKuki,0.787
6S7cr72a7a8RVAXzDCRj6m,0.777
7h2qWpMJzIVtiP30E8VDW4,0.795
3KVQFxJ5CWOcbxdpPYdi4o,0.815
kedja kommandon på kommandoraden
Exempel (fortsättning):
Formatera om utdata från csvcut genom att skicka den som indata till csvlook:
csvcut -c "track_id","danceability" Spotify_Popularity.csv | csvlook
| track_id | danceability |
| ---------------------- | ------------ |
| 118GQ70Sp6pMqn6w1oKuki | 0.787 |
| 6S7cr72a7a8RVAXzDCRj6m | 0.777 |
| 7h2qWpMJzIVtiP30E8VDW4 | 0.796 |
| 3KVQFxJ5CWOcbxdpPYdi4o | 0.815 |
Nu kör vi en övning!
Databehandling i kommandoraden
