Конвеєр даних

Розуміння Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Якщо дані — це нова нафта…

¹ The Economist, 2017-05-06, by David Parkins

Повернімося до інженерії даних

• Інгестуйте
• Обробляйте
• Зберігайте
• Потрібні конвеєри
• Автоматизуйте потік між етапами
• Надавайте актуальні, точні, доречні дані

$$

Конвеєри даних забезпечують ефективний потік даних

Автоматизуйте

• Витягнення
• Трансформацію
• Об'єднання
• Валідацію
• Завантаження

Зменште

• Ручні втручання
• Помилки
• Час проходження даних

ETL і конвеєри даних

ETL

• Популярний підхід до проєктування конвеєрів даних
• 1) Extract дані
• 2) Transform витягнені дані
• 3) Load трансформовані дані в іншу базу

Конвеєри даних

• Переміщують дані між системами
• Можуть слідувати ETL
• Дані можуть не трансформуватися
• Дані можуть вантажитися прямо в застосунки

Підсумок

• Що таке конвеєр даних
• Що він робить
• Чому це важливо
• Як конвеєри реалізовані в Spotflix
• Що таке ETL і його нюанси

Давайте потренуємось!

Розуміння Data Engineering