Daten Pipelines

Datenwissenschaft verstehen

Sara Billen

Curriculum Manager

$$ Datenerfassung und -aufnahme mit einer Quelle

$$ Datenerfassung und -aufnahme mit drei Quellen

$$ Skalierung

Mehr als eine Datenquelle:

Verschiedene Datentypen:

Was ist eine Datenpipeline?

Bewegt Daten in definierten Phasen
Automatische Sammlung und Speicherung
- Stündlich, täglich, wöchentlich usw. geplant
- Ausgelöst durch ein Ereignis
Überwacht
Notwendig für Big-Data-Projekte
Data Engineers passen Lösungen an
Extrahieren, Transformieren, Laden (ETL)

Datenpipeline

Daten	Quelle	Häufigkeit
Wetterbedingungen	National Weather Service API	Alle 30 Minuten
Tweets in deiner Region	Twitter API	Echtzeit-Stream
Innentemperatur	Smart-Home-Thermostat	Alle 5 Minuten
Status der Lichter	Smarte Glühbirnen	Jede Minute
Status der Schlösser	Intelligente Türschlösser	Alle 15 Sekunden
Energieverbrauch	Smart Meter	Wöchentlich

Extract phase

Ladephase

Wie halten wir all die eingehenden Daten organisiert und einfach abrufbar?

$$ Beispiele für Transformationen:

Datenaufbereitung und -exploration finden in dieser Phase nicht statt

Ladephase

Datenwissenschaft verstehen