csvkit ile başlangıç

Kabukta Veri İşleme

Susan Sun

Data Person

csvkit nedir?

csvkit:

komut satırı araçları paketidir
Wireservice tarafından Python ile geliştirilmiştir
CSV dosyalarında veri işleme ve temizleme olanağı sunar
Python, R ve SQL’e rakip veri yetenekleri sağlar
dokümantasyon: https://csvkit.readthedocs.io/en/latest/

csvkit kurulumu

csvkit’i Python paket yöneticisi pip ile kurun:

pip install csvkit

csvkit’i en son sürüme yükseltin:

pip install --upgrade csvkit

Tüm yönergeler:

https://csvkit.readthedocs.io/en/latest/tutorial.html.

csvkit kılavuzuna göz atma

Web tabanlı dokümantasyon: https://csvkit.readthedocs.io/en/latest/tutorial.html

Tarayıcıda görüntüleniyormuş gibi csvkit’in web tabanlı dokümantasyonunun ekran görüntüsü

in2csv: dosyaları CSV’ye dönüştürme

Web tabanlı dokümantasyon:

https://csvkit.readthedocs.io/en/latest/scripts/in2csv.html

Komut satırı dokümantasyonu:

in2csv --help

in2csv -h

usage: in2csv [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
              [-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-L LOCALE]
              [-S] [--blanks] [--date-format DATE_FORMAT]
              [--datetime-format DATETIME_FORMAT] [-H] [-K SKIP_LINES] [-v]

in2csv: dosyaları CSV’ye dönüştürme

Sözdizimi:

in2csv SpotifyData.xlsx > SpotifyData.csv

Excel’deki ilk sayfayı konsola yazdırır, kaydetmez

in2csv SpotifyData.xlsx

> çıktıyı yönlendirir ve SpotifyData.csv olarak kaydeder

> SpotifyData.csv

in2csv: dosyaları CSV’ye dönüştürme

SpotifyData.xlsx içindeki tüm sayfa adlarını yazdırmak için --names veya -n seçeneğini kullanın.

in2csv -n SpotifyData.xlsx

Worksheet1_Popularity
Worksheet2_MusicAttributes

Dönüştürülecek sayfa olarak "Worksheet1_Popularity" ardından --sheet seçeneğini kullanın.

in2csv SpotifyData.xlsx --sheet "Worksheet1_Popularity" > Spotify_Popularity.csv

in2csv: dosyaları CSV’ye dönüştürme

in2csv konsola günlük yazdırmaz.

in2csv SpotifyData.xlsx --sheet "Worksheet1_Popularity" > Spotify_Popularity.csv

Kontrol:

ls

SpotifyData.xlsx  Spotify_Popularity.csv  backup  bin

csvlook: komut satırında veri önizleme

csvlook: CSV’yi komut satırında Markdown uyumlu, sabit genişlikte gösterir

Dokümantasyon:

csvlook -h

usage: csvlook [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
               [-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-L LOCALE]
               [-S] [--blanks] [--date-format DATE_FORMAT]

csvlook: komut satırında veri önizleme

Sözdizimi:

csvlook Spotify_Popularity.csv

| track_id               | popularity |
| ---------------------- | ---------- |
| 118GQ70Sp6pMqn6w1oKuki |          7 |
| 6S7cr72a7a8RVAXzDCRj6m |          7 |
| 7h2qWpMJzIVtiP30E8VDW4 |          7 |
| 3KVQFxJ5CWOcbxdpPYdi4o |          7 |
| 0JjNrI1xmsTfhaiU1R6OVc |          7 |
| 3HjTcZt29JUHg5m60QhlMw |          7 |

csvstat: CSV veri dosyalarında tanımlayıcı istatistikler

csvstat: CSV’deki tüm sütunlar için tanımlayıcı özet istatistikleri yazdırır (ör. ortalama, medyan, benzersiz değer sayıları)

Dokümantasyon:

csvstat -h

usage: csvstat [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
               [-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-S] [-H]
               [-K SKIP_LINES] [-v] [-l] [--zero] [-V] [--csv] [-n]

csvstat: CSV veri dosyalarında tanımlayıcı istatistikler

Sözdizimi:

csvstat Spotify_Popularity.csv

  1. "track_id"

        Type of data:          Text
        Contains null values:  False
        Unique values:         24
        Longest value:         22 characters
        Most common values:    118GQ70Sp6pMqn6w1oKuki (1x)
                               6S7cr72a7a8RVAXzDCRj6m (1x)

Biraz csvkit deneyelim!

Kabukta Veri İşleme