用 csvkit 疊合資料與串接指令

在 Shell 中進行資料處理

Susan Sun

Data Person

csvstack：疊合多個 CSV 檔

csvstack：將兩個以上 CSV 檔的列疊在一起

文件：

csvstack -h

usage: csvstack [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
                [-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-S] [-H]
                [-n GROUP_NAME] [--filenames]
在 Shell 中進行資料處理

csvstack：疊合多個 CSV 檔

把兩個相似的檔案 Spotify_Rank6.csv 與 Spotify_Rank7.csv 疊成一個檔案。

先預覽資料確認綱要：

csvlook Spotify_Rank6.csv

| track_id               | popularity |
| ---------------------- | ---------- |
| 7JYCpIzpoidDOnnmxmHwtj |          6 |
| 0mmFibEg5NuULMwTVN2tRU |          6 |
在 Shell 中進行資料處理

csvstack：疊合多個 CSV 檔

csvlook Spotify_Rank7.csv

| track_id               | popularity |
| ---------------------- | ---------- |
| 118GQ70Sp6pMqn6w1oKuki |          7 |
| 6S7cr72a7a8RVAXzDCRj6m |          7 |
在 Shell 中進行資料處理

csvstack：疊合多個 CSV 檔

語法：

csvstack Spotify_Rank6.csv Spotify_Rank7.csv > Spotify_AllRanks.csv

csvlook Spotify_AllRanks.csv

| track_id               | popularity |
| ---------------------- | ---------- |
| 7JYCpIzpoidDOnnmxmHwtj |          6 |
| 0mmFibEg5NuULMwTVN2tRU |          6 |
| 118GQ70Sp6pMqn6w1oKuki |          7 |
| 6S7cr72a7a8RVAXzDCRj6m |          7 |
在 Shell 中進行資料處理

csvstack：疊合多個 CSV 檔

csvstack -g "Rank6","Rank7" \ 
Spotify_Rank6.csv Spotify_Rank7.csv > Spotify_AllRanks.csv

csvlook Spotify_AllRanks.csv

| group | track_id               | popularity |
| ----- | ---------------------- | ---------- |
| Rank6 | 7JYCpIzpoidDOnnmxmHwtj |          6 |
| Rank6 | 0mmFibEg5NuULMwTVN2tRU |          6 |
| Rank7 | 118GQ70Sp6pMqn6w1oKuki |          7 |
| Rank7 | 6S7cr72a7a8RVAXzDCRj6m |          7 |
在 Shell 中進行資料處理

csvstack：疊合多個 CSV 檔

csvstack -g "Rank6","Rank7" -n "source" \
Spotify_Rank6.csv Spotify_Rank7.csv > Spotify_AllRanks.csv

csvlook Spotify_AllRanks.csv

| source| track_id               | popularity |
| ----- | ---------------------- | ---------- |
| Rank6 | 7JYCpIzpoidDOnnmxmHwtj |          6 |
| Rank6 | 0mmFibEg5NuULMwTVN2tRU |          6 |
| Rank7 | 118GQ70Sp6pMqn6w1oKuki |          7 |
| Rank7 | 6S7cr72a7a8RVAXzDCRj6m |          7 |
在 Shell 中進行資料處理

串接命令列指令

; 串接指令並依序執行

csvlook SpotifyData_All.csv; csvstat SpotifyData_All.csv

&& 串接指令，但僅在第 1 個成功時才執行第 2 個

csvlook SpotifyData_All.csv && csvstat SpotifyData_All data.csv
在 Shell 中進行資料處理

串接命令列指令

> 將第 1 個指令的輸出重新導向到第 2 個指定的位置

in2csv SpotifyData.xlsx > SpotifyData.csv
在 Shell 中進行資料處理

串接命令列指令

| 將第 1 個指令的輸出作為第 2 個指令的輸入

範例：

csvcut 的輸出不易閱讀：

csvcut -c "track_id","danceability" Spotify_MusicAttributes.csv

track_id,danceability
118GQ70Sp6pMqn6w1oKuki,0.787
6S7cr72a7a8RVAXzDCRj6m,0.777
7h2qWpMJzIVtiP30E8VDW4,0.795
3KVQFxJ5CWOcbxdpPYdi4o,0.815
在 Shell 中進行資料處理

串接命令列指令

範例（續）：

把 csvcut 的輸出用管線傳給 csvlook 重新排版：

csvcut -c "track_id","danceability"  Spotify_Popularity.csv | csvlook

| track_id               | danceability |
| ---------------------- | ------------ |
| 118GQ70Sp6pMqn6w1oKuki |        0.787 |
| 6S7cr72a7a8RVAXzDCRj6m |        0.777 |
| 7h2qWpMJzIVtiP30E8VDW4 |        0.796 |
| 3KVQFxJ5CWOcbxdpPYdi4o |        0.815 |
在 Shell 中進行資料處理

把這些全部整合起來！

在 Shell 中進行資料處理

Preparing Video For Download...