Gratulacje

Wprowadzenie do inżynierii danych

Vincent Vankrunkelsven

Data Engineer, DataCamp

Wprowadzenie do inżynierii danych

 

• Zadania inżyniera danych
• Narzędzia, których używa
• Dostawcy usług chmurowych

Narzędzia inżyniera danych

 

• Bazy danych
• Obliczenia równoległe i frameworki (Spark)
• Planowanie zadań za pomocą Airflow

Extract, Transform and Load (ETL)

 

• Extract: pobieranie danych z różnych źródeł
• Transform: przekształcanie danych z użyciem obliczeń równoległych
• Load: wczytywanie danych do docelowej bazy danych

Studium przypadku: DataCamp

 

• Pobieranie danych z wielu źródeł
• Przekształcanie danych w rekomendacje
• Wczytywanie do docelowej bazy danych

Świetna robota!

Wprowadzenie do inżynierii danych