Підсумки курсу

Опрацювання даних у Shell

Susan Sun

Data Person

Завантаження даних у командному рядку

• Як завантажувати файли даних через curl і wget
• Документації, інструкції (напр., man curl, wget --help)
• Пакетні завантаження файлів (напр., wget --limit-rate=200k -i url_list.txt)

Обробка даних у командному рядку

• Вступ до інструментів обробки даних у командному рядку: csvkit
• Перетворення файлів у csv за допомогою in2csv
• Швидкий перегляд через csvlook, csvstat
• Фільтрування даних за допомогою csvcut, csvgrep
• Об'єднання багатьох файлів csvstack

Робота з базами даних у командному рядку

• Робота з базами даних за допомогою sql2csv, csvsql
• Розширені ETL-команди у стилі SQL з csvkit

Побудова конвеєрів даних у командному рядку

• Запуск Python у командному рядку
• Керування пакетами Python за допомогою pip
• Автоматизація моделей і конвеєрів збірки Python через cron

Дякуємо! До зустрічі!

Опрацювання даних у Shell