Конвейеры данных

Понимание науки о данных

Sara Billen

Curriculum Manager

$$ Сбор и загрузка данных из одного источника

$$ Сбор и загрузка данных из трёх источников

Несколько источников данных:

Разные типы данных:

Что такое конвейер данных?

Перемещает данные через заданные этапы
Автоматический сбор и хранение
- По расписанию: ежечасно, ежедневно, еженедельно и т. д.
- По событию
Мониторинг с автоматическими оповещениями
Необходим для проектов с большими данными
Инженеры данных разрабатывают индивидуальные решения
Extract Transform Load (ETL)

Конвейер данных

Данные	Источник	Периодичность
Погодные условия	National Weather Service API	Каждые 30 минут
Твиты в вашем районе	Twitter API	Поток в реальном времени
Температура в помещении	Умный термостат	Каждые 5 минут
Состояние освещения	Умные лампочки	Каждую минуту
Состояние замков	Умные дверные замки	Каждые 15 секунд
Потребление энергии	Умный счётчик	Еженедельно

Этап извлечения

Этап загрузки

$$ Примеры преобразований:

Подготовка и исследование данных на этом этапе не выполняются