Поздравляем

Введение в дата-инжиниринг

Vincent Vankrunkelsven

Data Engineer, DataCamp

Введение в дата-инженерию

 

• Задачи дата-инженера
• Инструменты, которые они используют
• Облачные провайдеры

Инструменты дата-инженера

 

• Базы данных
• Параллельные вычисления и фреймворки (Spark)
• Планирование задач с Airflow

Извлечение, преобразование и загрузка (ETL)

 

• Извлечение: получение данных из разных источников
• Преобразование: обработка данных с помощью параллельных вычислений
• Загрузка: загрузка данных в целевую базу данных

Практический пример: DataCamp

 

• Получение данных из разных источников
• Преобразование для формирования рекомендаций
• Загрузка в целевую базу данных

Отличная работа!

Введение в дата-инжиниринг