Daten Pipelines

Datenwissenschaft verstehen

Sara Billen

Curriculum Manager

$$ Datenerfassung und -aufnahme mit einer Quelle

$$ Datenerfassung und -aufnahme mit drei Quellen

Mehr als eine Datenquelle:

Verschiedene Datentypen:

Was ist eine Datenpipeline?

Bewegt Daten in definierten Phasen
Automatische Sammlung und Speicherung
- Stündlich, täglich, wöchentlich usw. geplant
- Ausgelöst durch ein Ereignis
Überwacht mit generierten Warnmeldungen
Notwendig für Big-Data-Projekte
Data Engineers arbeiten daran, Lösungen anzupassen
Extrahieren, Transformieren, Laden (ETL)

Datenpipeline

Daten	Quelle	Häufigkeit
Wetterbedingungen	API des National Weather Service	Alle 30 Minuten
Tweets in deiner Region	Twitter-API	Echtzeit-Stream
Innentemperatur	Smart-Home-Thermostat	Alle 5 Minuten
Status der Lichter	Smarte Glühbirnen	Jede Minute
Status der Schlösser	Intelligente Türschlösser	Alle 15 Sekunden
Energieverbrauch	Smart Meter	Wöchentlich

Extraktionsphase

Quelle	Häufigkeit
Nationale Wetter-API	Alle 30 Minuten
Twitter API	Echtzeit-Stream
Intelligentes Thermostat für das Smart Home	Alle 5 Minuten
Intelligente Glühbirnen	Jede Minute
Intelligente Türschlösser	Alle 15 Sekunden
Intelligenter Stromzähler	Wöchentlich

Ladephase

$$ Beispiele für Transformationen:

Datenaufbereitung und -exploration finden in dieser Phase noch nicht statt.

Ladephase

Automatisieren

Datenwissenschaft verstehen