Apilar datos y encadenar comandos con csvkit
Procesamiento de datos en Shell
Susan Sun
Data Person
csvstack: apilar varios archivos CSV
csvstack: apila las filas de dos o más archivos CSV
Documentación:
csvstack -h
usage: csvstack [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
[-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-S] [-H]
[-n GROUP_NAME] [--filenames]
csvstack: apilar varios archivos CSV
Apila dos archivos similares, Spotify_Rank6.csv y Spotify_Rank7.csv, en uno.
Previsualiza los datos para comprobar el esquema:
csvlook Spotify_Rank6.csv
| track_id | popularity |
| ---------------------- | ---------- |
| 7JYCpIzpoidDOnnmxmHwtj | 6 |
| 0mmFibEg5NuULMwTVN2tRU | 6 |
csvstack: apilar varios archivos CSV
csvlook Spotify_Rank7.csv
| track_id | popularity |
| ---------------------- | ---------- |
| 118GQ70Sp6pMqn6w1oKuki | 7 |
| 6S7cr72a7a8RVAXzDCRj6m | 7 |
csvstack: apilar varios archivos CSV
Sintaxis:
csvstack Spotify_Rank6.csv Spotify_Rank7.csv > Spotify_AllRanks.csv
csvlook Spotify_AllRanks.csv
| track_id | popularity |
| ---------------------- | ---------- |
| 7JYCpIzpoidDOnnmxmHwtj | 6 |
| 0mmFibEg5NuULMwTVN2tRU | 6 |
| 118GQ70Sp6pMqn6w1oKuki | 7 |
| 6S7cr72a7a8RVAXzDCRj6m | 7 |
csvstack: apilar varios archivos CSV
csvstack -g "Rank6","Rank7" \
Spotify_Rank6.csv Spotify_Rank7.csv > Spotify_AllRanks.csv
csvlook Spotify_AllRanks.csv
| group | track_id | popularity |
| ----- | ---------------------- | ---------- |
| Rank6 | 7JYCpIzpoidDOnnmxmHwtj | 6 |
| Rank6 | 0mmFibEg5NuULMwTVN2tRU | 6 |
| Rank7 | 118GQ70Sp6pMqn6w1oKuki | 7 |
| Rank7 | 6S7cr72a7a8RVAXzDCRj6m | 7 |
csvstack: apilar varios archivos CSV
csvstack -g "Rank6","Rank7" -n "source" \
Spotify_Rank6.csv Spotify_Rank7.csv > Spotify_AllRanks.csv
csvlook Spotify_AllRanks.csv
| source| track_id | popularity |
| ----- | ---------------------- | ---------- |
| Rank6 | 7JYCpIzpoidDOnnmxmHwtj | 6 |
| Rank6 | 0mmFibEg5NuULMwTVN2tRU | 6 |
| Rank7 | 118GQ70Sp6pMqn6w1oKuki | 7 |
| Rank7 | 6S7cr72a7a8RVAXzDCRj6m | 7 |
Encadenar comandos en la terminal
; encadena comandos y los ejecuta en secuencia
csvlook SpotifyData_All.csv; csvstat SpotifyData_All.csv
&& encadena comandos, pero solo ejecuta el 2.º si el 1.º tiene éxito
csvlook SpotifyData_All.csv && csvstat SpotifyData_All data.csv
Encadenar comandos en la terminal
> redirige la salida del 1.º comando al destino indicado como 2.º
in2csv SpotifyData.xlsx > SpotifyData.csv
Encadenar comandos en la terminal
| usa la salida del 1.º comando como entrada del 2.º
Ejemplo:
La salida de csvcut no está bien formateada:
csvcut -c "track_id","danceability" Spotify_MusicAttributes.csv
track_id,danceability
118GQ70Sp6pMqn6w1oKuki,0.787
6S7cr72a7a8RVAXzDCRj6m,0.777
7h2qWpMJzIVtiP30E8VDW4,0.795
3KVQFxJ5CWOcbxdpPYdi4o,0.815
Encadenar comandos en la terminal
Ejemplo (continuación):
Reformatea la salida de csvcut encadenándola como entrada a csvlook:
csvcut -c "track_id","danceability" Spotify_Popularity.csv | csvlook
| track_id | danceability |
| ---------------------- | ------------ |
| 118GQ70Sp6pMqn6w1oKuki | 0.787 |
| 6S7cr72a7a8RVAXzDCRj6m | 0.777 |
| 7h2qWpMJzIVtiP30E8VDW4 | 0.796 |
| 3KVQFxJ5CWOcbxdpPYdi4o | 0.815 |
¡Juntemos todo!
Procesamiento de datos en Shell
