Glückwunsch!

Einführung in das Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Einführung in das Data Engineering

 

• Aufgaben eines Dateningenieurs
• Tools eines Dateningenieurs
• Cloud-Dienstleister

Werkzeugkasten des Data Engineering

 

• Datenbanken
• Parallele Verarbeitung & Frameworks (Spark)
• Workflow-Planung mit Airflow

Extrahieren, Transformieren und Laden (ETL)

 

• Extrahieren: Daten aus verschiedenen Quellen ziehen
• Transformieren: Transformationen mit Parallelverarbeitung durchführen
• Laden: Daten in die Zieldatenbank laden

Fallstudie: DataCamp

 

• Daten aus verschiedenen Quellen holen
• In Empfehlungen umwandeln
• In die Zieldatenbank laden

Gut gemacht!

Einführung in das Data Engineering