Gratulacje

Wprowadzenie do inżynierii danych

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Wprowadzenie do inżynierii danych

 

• Zadania inżyniera danych
• Narzędzia używane w pracy
• Dostawcy usług chmurowych

Zestaw narzędzi inżyniera danych

 

• Bazy danych
• Przetwarzanie równoległe i frameworki (Spark)
• Harmonogramowanie zadań z Airflow

Ekstrakcja, ładowanie i transformacja (ETL)

 

• Ekstrakcja: pobieranie danych z różnych źródeł
• Transformacja: przekształcenia z użyciem obliczeń równoległych
• Ładowanie: zapis danych do docelowej bazy

Studium przypadku: DataCamp

 

• Pobieranie danych z wielu źródeł
• Transformacja w celu generowania rekomendacji
• Ładowanie do docelowej bazy danych

Dobra robota!

Wprowadzenie do inżynierii danych