Конвеєри даних

Розуміння Data Science

Sara Billen

Curriculum Manager

$$ Збирання та надходження даних з одного джерела

Розуміння Data Science

$$ Збирання та надходження даних з трьох джерел

$$

Як масштабуватися?

Понад одне джерело даних:

  • Публічні реєстри
  • API
  • Бази даних

Різні типи даних:

  • Неструктуровані дані
  • Табличні дані
  • Потокові дані в реальному часі напр., твіти
Розуміння Data Science

Що таке конвеєр даних?

  • Переміщує дані по визначених етапах
  • Автоматизоване збирання та зберігання
    • За розкладом: щогодини, щодня, щотижня тощо
    • Запускається подією
  • Моніторинг із сповіщеннями
  • Потрібно для проєктів з великими даними
  • Інженери даних налаштовують рішення
  • Extract Transform Load (ETL)

Конвеєр даних

Розуміння Data Science

Кейс: розумний дім

Дані Джерело Частота
Погодні умови National Weather Service API Кожні 30 хвилин
Твіти у вашому районі Twitter API Потік у реальному часі
Температура в приміщенні Розумний термостат Кожні 5 хвилин
Стан освітлення Розумні лампи Щохвилини
Стан замків Розумні дверні замки Кожні 15 секунд
Споживання енергії Розумний лічильник Щотижня
Розуміння Data Science

Extract

Етап Extract

Джерело Частота
National Weather API Кожні 30 хвилин
Twitter API Потік у реальному часі
Розумний термостат Кожні 5 хвилин
Розумні лампи Щохвилини
Розумні дверні замки Кожні 15 секунд
Розумний лічильник Щотижня
Розуміння Data Science

Transform

Етап Load

Розуміння Data Science

Transform

Коли надходить багато даних, як зберегти порядок і зручність використання?

$$ Приклади перетворень:

  • Об'єднання джерел в один набір даних
  • Перетворення структур під схеми бази даних
  • Видалення нерелевантних даних

Підготовка та дослідження даних на цьому етапі не виконуються

Розуміння Data Science

Load

Етап Transform

Розуміння Data Science

Автоматизація

Автоматизація

Розуміння Data Science

Давайте потренуємось!

Розуміння Data Science

Preparing Video For Download...