Вітаємо

Вступ до Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Вступ до дата-інженерії

 

• Визначати завдання дата-інженера
• Якими інструментами вони користуються
• Постачальники хмарних сервісів

Набір інструментів дата-інженера

 

• Бази даних
• Паралельні обчислення та фреймворки (Spark)
• Планування робочих процесів в Airflow

Extract, Load and Transform (ETL)

 

• Extract: отримати дані з кількох джерел
• Transform: виконати перетворення з використанням паралельних обчислень
• Load: завантажити дані до цільової бази даних

Кейс: DataCamp

 

• Отримати дані з багатьох джерел
• Перетворити для формування рекомендацій
• Завантажити до цільової бази даних

Чудова робота!

Вступ до Data Engineering