Recap do curso

Processamento de Dados no Shell

Susan Sun

Data Person

Baixar dados na linha de comando

• Como baixar arquivos de dados com curl e wget
• Documentações e manuais (ex.: man curl, wget --help)
• Baixar vários arquivos (ex.: wget --limit-rate=200k -i url_list.txt)

Processar dados na linha de comando

• Introdução ao toolkit de dados em linha de comando: csvkit
• Converter arquivos para CSV com in2csv
• Pré-visualizar com csvlook, csvstat
• Filtrar dados com csvcut, csvgrep
• Unir vários arquivos com csvstack

Manipular bancos de dados na linha de comando

• Manipular bancos de dados com sql2csv, csvsql
• Comandos ETL avançados ao estilo SQL com csvkit

Criar pipelines de dados na linha de comando

• Executar Python na linha de comando
• Gerenciar pacotes Python com pip
• Automatizar pipelines de modelo e build em Python com cron

Obrigado! Até a próxima!

Processamento de Dados no Shell