Планування даних

Розуміння Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Планування

• Може застосовуватися до будь-якого завдання в обробці даних
• Планування — це «клей» вашої системи
• Утримує частини разом і організовує їхню взаємодію
• Запускає завдання в певному порядку та розв'язує залежності

Ручне, за часом і сенсорне планування

• Вручну

• Вручну оновити таблицю співробітників

Ручне, за часом і сенсорне планування

• Вручну
• Автоматичний запуск у визначений час
• Автоматичний запуск за певної умови
  • Сенсорне планування

• Вручну оновити таблицю співробітників
• Оновити таблицю співробітників о 6:00

Ручне, за часом і сенсорне планування

• Вручну
• Автоматичний запуск у визначений час
• Автоматичний запуск за певної умови
  • Сенсорне планування

• Вручну оновити таблицю співробітників
• Оновити таблицю співробітників о 6:00
• Оновити таблиці відділів, якщо додано нового співробітника

Пакети й потоки

• Пакети
  • Групують записи через інтервали
  • Часто дешевші
• Потоки
  • Надсилають окремі записи одразу

• Пісні, завантажені виконавцями
• Таблиця співробітників
• Таблиця доходів
• Нові користувачі, що входять
• Інший приклад: онлайн vs офлайн прослуховування

Інструменти планування

Підсумок

• Що таке планування
• Різні способи налаштування
• Різниця між пакетами й потоками
• Як планування реалізовано в Spotflix
• Airflow, Luigi

Давайте потренуємось!

Розуміння Data Engineering