Планирование данных

Введение в дата-инжиниринг

Hadrien Lacroix

Content Developer at DataCamp

Планирование

• Применимо к любой задаче в обработке данных
• Планирование — связующее звено системы
• Объединяет все части и организует их взаимодействие
• Запускает задачи в нужном порядке и разрешает зависимости

Ручное, временное и сенсорное планирование

• Вручную

• Обновить таблицу сотрудников вручную

Ручное, временное и сенсорное планирование

• Вручную
• Автоматически в заданное время
• Автоматически при выполнении условия
  • Сенсорное планирование

• Обновить таблицу сотрудников вручную
• Обновить таблицу сотрудников в 6:00

Ручное, временное и сенсорное планирование

• Вручную
• Автоматически в заданное время
• Автоматически при выполнении условия
  • Сенсорное планирование

• Обновить таблицу сотрудников вручную
• Обновить таблицу сотрудников в 6:00
• Обновить таблицы отделов при добавлении нового сотрудника

Пакеты и потоки

• Пакеты
  • Группировка записей через интервалы
  • Как правило, дешевле
• Потоки
  • Немедленная передача отдельных записей

• Треки, загружаемые артистами
• Таблица сотрудников
• Таблица выручки
• Регистрация новых пользователей
• Ещё пример: онлайн- и офлайн-прослушивание

Инструменты планирования

Итоги

• Что такое планирование
• Способы его настройки
• Разница между пакетами и потоками
• Реализация планирования в Spotflix
• Airflow, Luigi

Давайте потренируемся!

Введение в дата-инжиниринг