Gratulujeme

Introduction to Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Úvod do datového inženýrství

 

• Úkoly datového inženýra
• Nástroje, které používají
• Poskytovatelé cloudových služeb

Sada nástrojů datového inženýra

 

• Databáze
• Paralelní výpočty a frameworky (Spark)
• Plánování workflow s Airflow

Extrakce, načítání a transformace (ETL)

 

• Extract: získání dat z více zdrojů
• Transform: transformace pomocí paralelních výpočtů
• Load: načtení dat do cílové databáze

Případová studie: DataCamp

 

• Načtení dat z více zdrojů
• Transformace pro tvorbu doporučení
• Načtení do cílové databáze

Dobrá práce!

Introduction to Data Engineering