การกรองข้อมูลด้วย csvkit
การประมวลผลข้อมูลบน Command Line
Susan Sun
Data Person
การกรองข้อมูลคืออะไร?
สามารถสร้างชุดข้อมูลย่อยจากไฟล์ต้นฉบับได้โดย:
- กรองข้อมูลตามคอลัมน์
- กรองข้อมูลตามแถว
csvcut: กรองข้อมูลโดยใช้ ชื่อคอลัมน์ หรือตำแหน่ง
csvgrep: กรองข้อมูลตาม ค่าในแถว ด้วยการจับคู่แบบตรง รูปแบบ หรือ regex
csvcut: การกรองข้อมูลตามคอลัมน์
csvcut: กรองและตัดไฟล์ CSV ตาม ชื่อคอลัมน์ หรือ ตำแหน่งคอลัมน์
เอกสารอ้างอิง:
csvcut -h
usage: csvcut [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
[-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-S] [-H]
[-K SKIP_LINES] [-v] [-l] [--zero] [-V] [-n] [-c COLUMNS]
csvcut: การกรองข้อมูลตามคอลัมน์
ใช้ตัวเลือก --names หรือ -n เพื่อแสดงชื่อคอลัมน์ทั้งหมดใน Spotify_MusicAttributes.csv
csvcut -n Spotify_MusicAttributes.csv
1: track_id
2: danceability
3: duration_ms
csvcut: การกรองข้อมูลตามคอลัมน์
1: track_id
2: danceability
3: duration_ms
ดึงคอลัมน์แรกในข้อมูลโดยใช้ ตำแหน่ง:
csvcut -c 1 Spotify_MusicAttributes.csv
track_id
118GQ70Sp6pMqn6w1oKuki
6S7cr72a7a8RVAXzDCRj6m
csvcut: การกรองข้อมูลตามคอลัมน์
1: track_id
2: danceability
3: duration_ms
ดึงเฉพาะคอลัมน์แรกในข้อมูลโดยใช้ ชื่อ:
csvcut -c "track_id" Spotify_MusicAttributes.csv
track_id
118GQ70Sp6pMqn6w1oKuki
6S7cr72a7a8RVAXzDCRj6m
csvcut: การกรองข้อมูลตามคอลัมน์
1: track_id
2: danceability
3: duration_ms
ดึงคอลัมน์ที่ 2 และ 3 ในข้อมูลโดยใช้ ตำแหน่ง:
csvcut -c 2,3 Spotify_MusicAttributes.csv
danceability,duration_ms
0.787,124016.0
0.777,128016.0
0.795999999999999,132742.0
csvcut: การกรองข้อมูลตามคอลัมน์
1: track_id
2: danceability
3: duration_ms
ดึงคอลัมน์ที่ 2 และ 3 ในข้อมูลโดยใช้ ชื่อ:
csvcut -c "danceability","duration_ms" Spotify_MusicAttributes.csv
danceability,duration_ms
0.787,124016.0
0.777,128016.0
0.795999999999999,132742.0
csvgrep: การกรองข้อมูลตามค่าในแถว
csvgrep:
- กรองตาม แถว ด้วยการจับคู่แบบตรงหรือ regex
- ต้องใช้ร่วมกับตัวเลือกใดตัวเลือกหนึ่ง:
-m: ตามด้วยค่าในแถวที่ต้องการกรองแบบตรง
-r: ตามด้วยรูปแบบ regex
-f: ตามด้วยพาธของไฟล์
เอกสารอ้างอิง:
csvgrep -h
csvgrep: การกรองข้อมูลตามค่าในแถว
ค้นหาใน Spotify_Popularity.csv โดยที่ track_id = 5RCPsfzmEpTXMCTNk7wEfQ
csvgrep -c "track_id" -m 5RCPsfzmEpTXMCTNk7wEfQ Spotify_Popularity.csv
track_id,popularity
5RCPsfzmEpTXMCTNk7wEfQ,7.0
csvgrep -c 1 -m 5RCPsfzmEpTXMCTNk7wEfQ Spotify_Popularity.csv
track_id,popularity
5RCPsfzmEpTXMCTNk7wEfQ,7.0
มาฝึกกันเถอะ!
การประมวลผลข้อมูลบน Command Line
