Итоги курса

Обработка данных в командной строке

Susan Sun

Data Person

Загрузка данных из командной строки

• Загрузка файлов с помощью curl и wget
• Документация и справочные страницы (например, man curl, wget --help)
• Загрузка нескольких файлов (например, wget --limit-rate=200k -i url_list.txt)

Обработка данных в командной строке

• Набор инструментов для работы с данными: csvkit
• Конвертация файлов в CSV с помощью in2csv
• Предварительный просмотр: csvlook, csvstat
• Фильтрация данных: csvcut, csvgrep
• Объединение файлов с помощью csvstack

Работа с базами данных в командной строке

• Работа с базами данных: sql2csv, csvsql
• Расширенные ETL-команды на основе SQL с помощью csvkit

Создание пайплайнов данных в командной строке

• Запуск Python из командной строки
• Управление пакетами Python с помощью pip
• Автоматизация моделей и пайплайнов с помощью cron

Спасибо и до свидания!

Обработка данных в командной строке