Data plannen

Inzicht in data engineering

Hadrien Lacroix

Content Developer at DataCamp

Planning

• Toepasbaar op elke taak in gegevensverwerking
• Planning is de lijm van je systeem
• Houdt alles bij elkaar en regelt de samenwerking
• Voert taken in volgorde uit en lost afhankelijkheden op

Handmatige, tijd- en sensorplanning

• Handmatig

• Werk de tabel employees handmatig bij

Handmatige, tijd- en sensorplanning

• Handmatig
• Automatisch op een vast tijdstip
• Automatisch als aan een voorwaarde is voldaan
  • Sensorplanning

• Werk de tabel employees handmatig bij
• Werk de tabel employees bij om 6.00 uur

Handmatige, tijd- en sensorplanning

• Handmatig
• Automatisch op een vast tijdstip
• Automatisch als aan een voorwaarde is voldaan
  • Sensorplanning

• Werk de tabel employees handmatig bij
• Werk de tabel employees bij om 6.00 uur
• Werk de afdelingtabel(len) bij als er een nieuwe medewerker is toegevoegd

Batches en streams

• Batches
  • Groepeer records per interval
  • Vaak goedkoper
• Streams
  • Stuur losse records direct door

• Songs geüpload door artiesten
• Tabel employees
• Tabel revenue
• Nieuwe gebruikers die inloggen
• Nog een voorbeeld: online vs. offline luisteren

Planningstools

Samenvatting

• Wat planning is
• Manieren om het in te richten
• Verschil tussen batches en streams
• Hoe planning bij Spotflix werkt
• Airflow, Luigi

Laten we oefenen!

Inzicht in data engineering