Planificarea datelor

Înțelegerea ingineriei datelor

Hadrien Lacroix

Content Developer at DataCamp

Planificare

• Se aplică oricărei sarcini de procesare a datelor
• Planificarea este liantul sistemului
• Leagă componentele și organizează modul în care funcționează împreună
• Execută sarcinile într-o ordine specifică și rezolvă toate dependențele

Planificare manuală, temporală și prin senzori

• Manual

• Actualizați manual tabelul angajaților

Planificare manuală, temporală și prin senzori

• Manual
• Automat la o oră specifică
• Automat dacă o condiție este îndeplinită
  • Planificare prin senzori

• Actualizați manual tabelul angajaților
• Actualizați tabelul angajaților la ora 6

Planificare manuală, temporală și prin senzori

• Manual
• Automat la o oră specifică
• Automat dacă o condiție este îndeplinită
  • Planificare prin senzori

• Actualizați manual tabelul angajaților
• Actualizați tabelul angajaților la ora 6
• Actualizați tabelele departamentelor dacă a fost adăugat un angajat nou

Loturi și fluxuri

• Loturi
  • Grupează înregistrări la intervale
  • De obicei mai ieftin
• Fluxuri
  • Trimite înregistrări individuale imediat

• Melodii încărcate de artiști
• Tabelul angajaților
• Tabelul veniturilor
• Utilizatori noi care se conectează
• Alt exemplu: ascultare online vs. offline

Instrumente de planificare

Rezumat

• Ce este planificarea
• Diferite moduri de configurare
• Diferența dintre loturi și fluxuri
• Cum este implementată planificarea la Spotflix
• Airflow, Luigi

Să exersăm!

Înțelegerea ingineriei datelor