Xử lý dữ liệu bằng cú pháp SQL

Xử lý dữ liệu trên Shell

Susan Sun

Data Person

csvsql: tài liệu

csvsql:

áp dụng câu lệnh SQL cho một hoặc nhiều tệp CSV
tạo cơ sở dữ liệu SQL trong bộ nhớ để tạm lưu tệp đang xử lý
chỉ phù hợp cho tệp nhỏ đến trung bình

Tài liệu:

csvsql -h

usage: csvsql [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
              [-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-L LOCALE]

csvsql: áp dụng SQL cho tệp CSV cục bộ

Cú pháp mẫu:

ls

Spotify_MusicAttributes.csv

csvsql: áp dụng SQL cho tệp CSV cục bộ

Cú pháp mẫu:

csvsql --query "SELECT * FROM Spotify_MusicAttributes LIMIT 1" \
    Spotify_MusicAttributes.csv

track_id,danceability,duration_ms,instrumentalness,loudness,tempo,time_signature
118GQ70Sp6pMqn6w1oKuki,0.787,124016.0,0.784,-10.457,119.988,4.0

csvsql: áp dụng SQL cho tệp CSV cục bộ

Cú pháp mẫu:

csvsql --query "SELECT * FROM Spotify_MusicAttributes LIMIT 1" \
    data/Spotify_MusicAttributes.csv | csvlook

| track_id               | danceability | duration_ms | instrumentalness ...
| ---------------------- | ------------ | ----------- | ---------------- ...
| 118GQ70Sp6pMqn6w1oKuki |        0.787 |     124,016 |            0.784 ...

csvsql: áp dụng SQL cho tệp CSV cục bộ

Cú pháp mẫu:

csvsql --query "SELECT * FROM Spotify_MusicAttributes LIMIT 1" \
    data/Spotify_MusicAttributes.csv > OneSongFile.csv

ls

OneSongFile.csv

csvsql: nối CSV bằng cú pháp SQL

Cú pháp mẫu:

csvsql --query "SELECT * FROM file_a INNER JOIN file_b..." file_a.csv file_b.csv

Lưu ý:

Câu lệnh SQL phải trên một dòng, không xuống dòng
Liệt kê tệp CSV theo thứ tự xuất hiện trong SQL

Ayo berlatih!

Xử lý dữ liệu trên Shell