Конвейер данных

Введение в дата-инжиниринг

Hadrien Lacroix

Content Developer at DataCamp

Если данные — это новая нефть...

¹ The Economist, 06.05.2017, автор: Дэвид Паркинс

Возвращаясь к инженерии данных

• Принимать данные
• Обрабатывать
• Хранить
• Нужны конвейеры
• Автоматизировать поток от одного этапа к следующему
• Предоставлять актуальные, точные и релевантные данные

$$

Конвейеры данных обеспечивают эффективный поток данных

Автоматизировать

• Извлечение
• Преобразование
• Объединение
• Валидацию
• Загрузку

Сократить

• Участие человека
• Количество ошибок
• Время прохождения данных

ETL и конвейеры данных

ETL

• Популярный подход к проектированию конвейеров данных
• 1) Извлечь данные
• 2) Преобразовать извлечённые данные
• 3) Загрузить преобразованные данные в другую базу данных

Конвейеры данных

• Перемещают данные из одной системы в другую
• Могут следовать схеме ETL
• Данные могут не преобразовываться
• Данные могут загружаться напрямую в приложения

Итоги

• Что такое конвейер данных
• Для чего он нужен
• Почему это важно
• Как конвейеры данных реализованы в Spotflix
• Что такое ETL и его особенности

Давайте потренируемся!

Введение в дата-инжиниринг