Planning van data
Data Engineering begrijpen
Hadrien Lacroix
Content Developer at DataCamp
Planning
Toepasbaar op elke taak in data processing
Planning is de lijm van je systeem
Houdt alles bij elkaar en regelt de samenwerking
Voert taken in volgorde uit en lost alle afhankelijkheden op
Handmatige, tijd- en sensorplanning
Handmatig
Handmatig de employee-tabel bijwerken
Handmatige, tijd- en sensorplanning
Handmatig
Automatisch op een vast tijdstip
Automatisch bij een specifieke voorwaarde
Sensorplanning
Handmatig de employee-tabel bijwerken
De employee-tabel om 6:00 bijwerken
Handmatige, tijd- en sensorplanning
Handmatig
Automatisch op een vast tijdstip
Automatisch bij een specifieke voorwaarde
Sensorplanning
Handmatig de employee-tabel bijwerken
De employee-tabel om 6:00 bijwerken
De department-tabellen bijwerken als er een nieuwe employee is toegevoegd
Batches en streams
Batches
Groepeer records per interval
Vaak goedkoper
Streams
Stuur records direct door
Songs geüpload door artiesten
Employee-tabel
Revenue-tabel
Nieuwe users die inloggen
Nog een voorbeeld: online vs. offline luisteren
Planningstools
Samenvatting
Wat planning is
Manieren om het in te richten
Verschil tussen batches en streams
Hoe planning bij Spotflix werkt
Airflow, Luigi
Laten we oefenen!
Data Engineering begrijpen
Preparing Video For Download...