เริ่มต้นใช้งาน csvkit
การประมวลผลข้อมูลบน Command Line
Susan Sun
Data Person
csvkit คืออะไร?
csvkit:
- เป็นชุดเครื่องมือ command-line
- พัฒนาด้วย Python โดย Wireservice
- มีความสามารถในการประมวลผลและทำความสะอาดข้อมูลใน CSV
- มีความสามารถด้านข้อมูลที่เทียบเท่า Python, R และ SQL
- เอกสารประกอบ: https://csvkit.readthedocs.io/en/latest/
การติดตั้ง csvkit
ติดตั้ง csvkit ด้วย package manager pip ของ Python:
pip install csvkit
อัปเกรด csvkit เป็นเวอร์ชันล่าสุด:
pip install --upgrade csvkit
คำแนะนำฉบับเต็ม:
เรียกดูคู่มือ csvkit
เอกสารประกอบบนเว็บ: https://csvkit.readthedocs.io/en/latest/tutorial.html
in2csv: แปลงไฟล์เป็น CSV
เอกสารประกอบบนเว็บ:
https://csvkit.readthedocs.io/en/latest/scripts/in2csv.html
เอกสารประกอบบน command line:
in2csv --helpin2csv -h
usage: in2csv [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
[-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-L LOCALE]
[-S] [--blanks] [--date-format DATE_FORMAT]
[--datetime-format DATETIME_FORMAT] [-H] [-K SKIP_LINES] [-v]
in2csv: แปลงไฟล์เป็น CSV
ไวยากรณ์:
in2csv SpotifyData.xlsx > SpotifyData.csv
พิมพ์ชีตแรกใน Excel ออกทางหน้าจอ โดยไม่บันทึกไฟล์
in2csv SpotifyData.xlsx
> เปลี่ยนทิศทางผลลัพธ์และบันทึกเป็นไฟล์ใหม่ SpotifyData.csv
> SpotifyData.csv
in2csv: แปลงไฟล์เป็น CSV
ใช้ตัวเลือก --names หรือ -n เพื่อแสดงชื่อชีตทั้งหมดใน SpotifyData.xlsx
in2csv -n SpotifyData.xlsx
Worksheet1_Popularity
Worksheet2_MusicAttributes
ใช้ตัวเลือก --sheet ตามด้วยชื่อชีต "Worksheet1_Popularity" เพื่อแปลงไฟล์
in2csv SpotifyData.xlsx --sheet "Worksheet1_Popularity" > Spotify_Popularity.csv
in2csv: แปลงไฟล์เป็น CSV
in2csv ไม่แสดง log บนหน้าจอ
in2csv SpotifyData.xlsx --sheet "Worksheet1_Popularity" > Spotify_Popularity.csv
ตรวจสอบผลลัพธ์:
ls
SpotifyData.xlsx Spotify_Popularity.csv backup bin
csvlook: ดูตัวอย่างข้อมูลบน command line
csvlook: แสดงข้อมูล CSV บน command line ในรูปแบบ Markdown ที่มีความกว้างคงที่
เอกสารประกอบ:
csvlook -h
usage: csvlook [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
[-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-L LOCALE]
[-S] [--blanks] [--date-format DATE_FORMAT]
csvlook: ดูตัวอย่างข้อมูลบน command line
ไวยากรณ์:
csvlook Spotify_Popularity.csv
| track_id | popularity |
| ---------------------- | ---------- |
| 118GQ70Sp6pMqn6w1oKuki | 7 |
| 6S7cr72a7a8RVAXzDCRj6m | 7 |
| 7h2qWpMJzIVtiP30E8VDW4 | 7 |
| 3KVQFxJ5CWOcbxdpPYdi4o | 7 |
| 0JjNrI1xmsTfhaiU1R6OVc | 7 |
| 3HjTcZt29JUHg5m60QhlMw | 7 |
csvstat: สถิติเชิงพรรณนาของไฟล์ CSV
csvstat: แสดงสถิติเชิงพรรณนาของทุกคอลัมน์ใน CSV (เช่น ค่าเฉลี่ย มัธยฐาน จำนวนค่าที่ไม่ซ้ำ)
เอกสารประกอบ:
csvstat -h
usage: csvstat [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
[-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-S] [-H]
[-K SKIP_LINES] [-v] [-l] [--zero] [-V] [--csv] [-n]
csvstat: สถิติเชิงพรรณนาของไฟล์ CSV
ไวยากรณ์:
csvstat Spotify_Popularity.csv
1. "track_id"
Type of data: Text
Contains null values: False
Unique values: 24
Longest value: 22 characters
Most common values: 118GQ70Sp6pMqn6w1oKuki (1x)
6S7cr72a7a8RVAXzDCRj6m (1x)
มาฝึกกันเถอะ!
การประมวลผลข้อมูลบน Command Line
