Schemaläggning av data

Introduktion till datatekniker

Hadrien Lacroix

Content Developer at DataCamp

Schemaläggning

• Kan tillämpas på alla uppgifter i databearbetning
• Schemaläggning är kittet i systemet
• Håller ihop delarna och organiserar hur de samverkar
• Kör uppgifter i rätt ordning och löser alla beroenden

Manuell, tidsbaserad och sensorbaserad schemaläggning

• Manuellt

• Uppdatera medarbetartabellen manuellt

Manuell, tidsbaserad och sensorbaserad schemaläggning

• Manuellt
• Körs automatiskt vid en bestämd tidpunkt
• Körs automatiskt om ett visst villkor uppfylls
  • Sensorbaserad schemaläggning

• Uppdatera medarbetartabellen manuellt
• Uppdatera medarbetartabellen kl. 06:00

Manuell, tidsbaserad och sensorbaserad schemaläggning

• Manuellt
• Körs automatiskt vid en bestämd tidpunkt
• Körs automatiskt om ett visst villkor uppfylls
  • Sensorbaserad schemaläggning

• Uppdatera medarbetartabellen manuellt
• Uppdatera medarbetartabellen kl. 06:00
• Uppdatera avdelningstabellerna om en ny medarbetare lagts till

Batcher och strömmar

• Batcher
  • Grupperar poster med intervall
  • Ofta billigare
• Strömmar
  • Skickar enskilda poster direkt

• Låtar uppladdade av artister
• Medarbetartabellen
• Intäktstabellen
• Nya användare som loggar in
• Annat exempel: lyssna online vs. offline

Schemaläggningsverktyg

Sammanfattning

• Vad schemaläggning är
• Olika sätt att konfigurera det
• Skillnaden mellan batcher och strömmar
• Hur schemaläggning används på Spotflix
• Airflow, Luigi

Nu kör vi en övning!

Introduktion till datatekniker