Daten Pipelines

Datenwissenschaft verstehen

Sara Billen

Curriculum Manager

$$ Daten sammeln und einlesen mit einer einzigen Quelle

Datenwissenschaft verstehen

$$ Datenerfassung und -aufnahme mit drei Quellen

$$

Skalierung

Mehr als eine Datenquelle:

  • Öffentliche Datensätze
  • APIs
  • Datenbanken

Verschiedene Datentypen:

  • Unstrukturierte Daten
  • Tabellarische Daten
  • Echtzeit-Streaming-Daten , z. B. Tweets
Datenwissenschaft verstehen

Was ist eine Datenpipeline?

  • Bewegt Daten in definierten Phasen
  • Automatische Sammlung und Speicherung
    • Stündlich, täglich, wöchentlich usw. geplant
    • Ausgelöst durch ein Ereignis
  • Überwacht mit generierten Warnmeldungen
  • Notwendig für Big-Data-Projekte
  • Data Engineers arbeiten daran, Lösungen anzupassen.
  • Extrahieren, Transformieren, Laden (ETL)

Data pipeline

Datenwissenschaft verstehen

Fallstudie: Smart Home

Daten Quelle Häufigkeit
Wetterbedingungen API des Nationalen Wetterdienstes Alle 30 Minuten
Tweets in deiner Nähe Twitter-API Echtzeit-Stream
Raumtemperatur Smart Home Thermostat Alle 5 Minuten
Status der Lichter Smarte Glühbirnen Jede Minute
Status der Schlösser Intelligente Türschlösser Alle 15 Sekunden
Energieverbrauch Intelligenter Stromzähler Wöchentlich
Datenwissenschaft verstehen

Extrahieren

Extraktionsphase

Quelle Häufigkeit
Nationale Wetter-API Alle 30 Minuten
Twitter-API Echtzeit-Stream
Smart Home Thermostat Alle 5 Minuten
Smarte Glühbirnen Jede Minute
Intelligente Türschlösser Alle 15 Sekunden
Intelligenter Stromzähler Wöchentlich
Datenwissenschaft verstehen

Transformieren

Lastphase

Datenwissenschaft verstehen

Transformieren

Wie halten wir all die eingehenden Daten organisiert und einfach abrufbar?

$$ Beispiele für Transformationen:

  • Datenquellen in einen Datensatz zusammenführen
  • Datenstrukturen so anpassen, dass sie in Datenbankschemata passen
  • Unnötige Daten löschen

Datenaufbereitung und -exploration finden in dieser Phase noch nicht statt.

Datenwissenschaft verstehen

Laden

Lastphase

Datenwissenschaft verstehen

Automatisierung

Automatisieren

Datenwissenschaft verstehen

Lass uns üben!

Datenwissenschaft verstehen

Preparing Video For Download...