Começando com csvkit

Processamento de Dados no Shell

Susan Sun

Data Person

O que é o csvkit?

csvkit:

é um conjunto de ferramentas de linha de comando
desenvolvido em Python pela Wireservice
oferece recursos de processamento e limpeza de dados em arquivos CSV
tem recursos que rivalizam com Python, R e SQL
documentação: https://csvkit.readthedocs.io/en/latest/

Instalação do csvkit

Instale o csvkit com o gerenciador de pacotes do Python, pip:

pip install csvkit

Atualize o csvkit para a versão mais recente:

pip install --upgrade csvkit

Instruções completas:

https://csvkit.readthedocs.io/en/latest/tutorial.html.

Explorando o manual do csvkit

Documentação na web: https://csvkit.readthedocs.io/en/latest/tutorial.html

Captura de tela da documentação do csvkit como vista no navegador

in2csv: convertendo arquivos para CSV

Documentação na web:

https://csvkit.readthedocs.io/en/latest/scripts/in2csv.html

Documentação na linha de comando:

in2csv --help

in2csv -h

usage: in2csv [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
              [-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-L LOCALE]
              [-S] [--blanks] [--date-format DATE_FORMAT]
              [--datetime-format DATETIME_FORMAT] [-H] [-K SKIP_LINES] [-v]

in2csv: convertendo arquivos para CSV

Sintaxe:

in2csv SpotifyData.xlsx > SpotifyData.csv

Imprime a primeira planilha do Excel no console e não salva

in2csv SpotifyData.xlsx

> redireciona a saída e salva como o novo arquivo SpotifyData.csv

> SpotifyData.csv

in2csv: convertendo arquivos para CSV

Use a opção --names ou -n para listar todos os nomes de planilhas em SpotifyData.xlsx.

in2csv -n SpotifyData.xlsx

Worksheet1_Popularity
Worksheet2_MusicAttributes

Use a opção --sheet seguida da planilha "Worksheet1_Popularity" a ser convertida.

in2csv SpotifyData.xlsx --sheet "Worksheet1_Popularity" > Spotify_Popularity.csv

in2csv: convertendo arquivos para CSV

in2csv não imprime logs no console.

in2csv SpotifyData.xlsx --sheet "Worksheet1_Popularity" > Spotify_Popularity.csv

Verificação rápida:

ls

SpotifyData.xlsx  Spotify_Popularity.csv  backup  bin

csvlook: prévia de dados na linha de comando

csvlook: renderiza um CSV na linha de comando em formato de largura fixa compatível com Markdown

Documentação:

csvlook -h

usage: csvlook [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
               [-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-L LOCALE]
               [-S] [--blanks] [--date-format DATE_FORMAT]

csvlook: prévia de dados na linha de comando

Sintaxe:

csvlook Spotify_Popularity.csv

| track_id               | popularity |
| ---------------------- | ---------- |
| 118GQ70Sp6pMqn6w1oKuki |          7 |
| 6S7cr72a7a8RVAXzDCRj6m |          7 |
| 7h2qWpMJzIVtiP30E8VDW4 |          7 |
| 3KVQFxJ5CWOcbxdpPYdi4o |          7 |
| 0JjNrI1xmsTfhaiU1R6OVc |          7 |
| 3HjTcZt29JUHg5m60QhlMw |          7 |

csvstat: estatísticas descritivas em arquivos CSV

csvstat: imprime estatísticas descritivas de todas as colunas do CSV (ex.: média, mediana, contagem de valores únicos)

Documentação:

csvstat -h

usage: csvstat [-h] [-d DELIMITER] [-t] [-q QUOTECHAR] [-u {0,1,2,3}] [-b]
               [-p ESCAPECHAR] [-z FIELD_SIZE_LIMIT] [-e ENCODING] [-S] [-H]
               [-K SKIP_LINES] [-v] [-l] [--zero] [-V] [--csv] [-n]

csvstat: estatísticas descritivas em arquivos CSV

Sintaxe:

csvstat Spotify_Popularity.csv

  1. "track_id"

        Type of data:          Text
        Contains null values:  False
        Unique values:         24
        Longest value:         22 characters
        Most common values:    118GQ70Sp6pMqn6w1oKuki (1x)
                               6S7cr72a7a8RVAXzDCRj6m (1x)

Vamos praticar!

Processamento de Dados no Shell