Planning van data

Data Engineering begrijpen

Hadrien Lacroix

Content Developer at DataCamp

Planning

• Toepasbaar op elke taak in data processing
• Planning is de lijm van je systeem
• Houdt alles bij elkaar en regelt de samenwerking
• Voert taken in volgorde uit en lost alle afhankelijkheden op

Handmatige, tijd- en sensorplanning

• Handmatig

• Handmatig de employee-tabel bijwerken

Handmatige, tijd- en sensorplanning

• Handmatig
• Automatisch op een vast tijdstip
• Automatisch bij een specifieke voorwaarde
  • Sensorplanning

• Handmatig de employee-tabel bijwerken
• De employee-tabel om 6:00 bijwerken

Handmatige, tijd- en sensorplanning

• Handmatig
• Automatisch op een vast tijdstip
• Automatisch bij een specifieke voorwaarde
  • Sensorplanning

• Handmatig de employee-tabel bijwerken
• De employee-tabel om 6:00 bijwerken
• De department-tabellen bijwerken als er een nieuwe employee is toegevoegd

Batches en streams

• Batches
  • Groepeer records per interval
  • Vaak goedkoper
• Streams
  • Stuur records direct door

• Songs geüpload door artiesten
• Employee-tabel
• Revenue-tabel
• Nieuwe users die inloggen
• Nog een voorbeeld: online vs. offline luisteren

Plannings­tools

Samenvatting

• Wat planning is
• Manieren om het in te richten
• Verschil tussen batches en streams
• Hoe planning bij Spotflix werkt
• Airflow, Luigi

Laten we oefenen!

Data Engineering begrijpen