Datenplanung

Grundlagen von Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Datenplanung

• Kann für jede in der Datenverarbeitung aufgeführte Aufgabe gelten
• Die Datenplanung ist der Klebstoff deines Systems
• Behält alle Bausteine im Auge und organisiert sie
• Führt Aufgaben in einer bestimmten Reihenfolge aus und löst alle Abhängigkeiten auf

Datenplanung: manuell, zeitgebunden, sensorisch

• Manuell

• Manuelles Aktualisieren der Personaltabelle

Datenplanung: manuell, zeitgebunden, sensorisch

• Manuell
• Automatisch zu einer bestimmten Zeit ausführen
• Automatisch ausführen, wenn eine Bedingung erfüllt ist:
  • Sensor Scheduling

• Manuelles Aktualisieren der Personaltabelle
• Aktualisieren der Personaltabelle um 06:00 Uhr

Datenplanung: manuell, zeitgebunden, sensorisch

• Manuell
• Automatisch zu einer bestimmten Zeit ausführen
• Automatisch ausführen, wenn eine Bedingung erfüllt ist:
  • Sensor Scheduling

• Manuelles Aktualisieren der Personaltabelle
• Aktualisieren der Personaltabelle um 06:00 Uhr
• Aktualisieren der Abteilungs-Tabellen, wenn Personal hinzugefügt wurde

Batches und Streams

• Batches
  • Gruppieren von Datensätzen in Intervallen
  • Oft günstiger
• Streams
  • Sofortiges Senden einzelner Datensätze

• Von Artists hochgeladene Songs
• Personaltabelle
• Umsatztabelle
• Neue Nutzende melden sich an
• Musik online vs. offline hören

Planungstools

Zusammenfassung

• Was ist Datenplanung?
• Verschiedene Möglichkeiten zur Einrichtung
• Unterschied zwischen Batches und Streams
• Umsetzung der Datenplanung bei Spotflix
• Airflow, Luigi

Lass uns üben!

Grundlagen von Data Engineering