Вітаємо

Вступ до Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Вступ до data engineering

 

• Визначати завдання дата-інженера
• Які інструменти вони використовують
• Провайдери хмарних сервісів

Інструментарій data engineering

 

• Бази даних
• Паралельні обчислення та фреймворки (Spark)
• Планування робочих процесів з Airflow

Extract, Transform and Load (ETL)

 

• Extract: отримати дані з кількох джерел
• Transform: виконати перетворення за допомогою паралельних обчислень
• Load: завантажити дані в цільову базу

Кейс: DataCamp

 

• Отримати дані з кількох джерел
• Перетворити для формування рекомендацій
• Завантажити в цільову базу

Гарна робота!

Вступ до Data Engineering