Поздравляем!

Введение в дата-инжиниринг

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Введение в инженерию данных

 

• Задачи инженера данных
• Инструменты, которые они используют
• Поставщики облачных услуг

Инструменты инженера данных

 

• Базы данных
• Параллельные вычисления и фреймворки (Spark)
• Планирование задач с помощью Airflow

Извлечение, загрузка и преобразование (ETL)

 

• Extract: получение данных из нескольких источников
• Transform: преобразование данных с помощью параллельных вычислений
• Load: загрузка данных в целевую базу

Практический пример: DataCamp

 

• Получение данных из нескольких источников
• Преобразование для формирования рекомендаций
• Загрузка в целевую базу данных

Отличная работа!

Введение в дата-инжиниринг