Die Datenpipeline

Grundlagen von Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Wenn Daten das neue Öl sind ...

data is the new oil - economist cover

¹ The Economist, 06.05.2017, von David Parkins

Ölquelle

Rohrleitungen von der Ölquelle

Destillieren

Rückstand

Schweröl

Diesel

Kerosin

Naphtha

Benzin

Kerosin wird direkt zum Flughafen geliefert

Benzin wird an Speicheranlagen geliefert

Benzin wird von der Speicheranlage an die Tankstellen geliefert

Naphtha erfährt chemische Umwandlungen

Plastik wird an die Fabrik geschickt

Zurück zum Data Engineering

Erfassen
Verarbeiten
Speichern
Braucht Pipelines
Automatisiert den Fluss von einer Station zur nächsten
Stellt aktuelle, genaue und relevante Daten bereit

data-engineer

Mobil

Computer

Website

Pipes aus der mobilen App, der Desktop-App und der Website

Daten-Rack

Artists

Alben

Tracks

Playlists

Kunden

Personal

Artists-Datenbank

Verkaufspersonal

technisches Personal

Personal unterstützen

Verkaufspersonal in den USA

Verkaufspersonal Belgien

Verkaufspersonal Frankreich

Tracks prüfen und bereinigen

bereinigte Tracksin die Datenbank schreiben

Oprah vertreibt Pipelines

Datenpipelines sorgen für einen effizienten Datenfluss

Automatisieren

Extrahieren
Transformieren
Kombinieren
Validieren
Laden

Reduzieren

Manuelle Eingriffe
Fehler
Zeit für Datenfluss

ETL und Datenpipelines

ETL

Beliebtes Framework für die Gestaltung von Datenpipelines
1) Daten extrahieren
2) Extrahierte Daten transformieren
3) Transformierte Daten in eine andere Datenbank laden

Daten-Pipelines

Daten von einem System in ein anderes verschieben
Kann ETL folgen
Daten könnten nicht transformiert werden
Daten können direkt in Anwendung geladen werden

Zusammenfassung

Was eine Datenpipeline ist
Was sie tut
Warum sie wichtig ist
Wie Datenpipelines bei Spotflix implementiert werden
Was ETL ist und was seine Feinheiten sind

Lass uns üben!

Grundlagen von Data Engineering