Pianificazione dei dati

Capire il Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Pianificazione

• Si applica a qualsiasi task del data processing
• La pianificazione è la colla del sistema
• Tiene insieme i pezzi e organizza come lavorano
• Esegue i task in ordine e risolve le dipendenze

Pianificazione manuale, temporale e con sensore

• Manuale

• Aggiorna manualmente la tabella dipendenti

Pianificazione manuale, temporale e con sensore

• Manuale
• Automatica a un'ora specifica
• Automatica se è soddisfatta una condizione
  • Pianificazione con sensore

• Aggiorna manualmente la tabella dipendenti
• Aggiorna la tabella dipendenti alle 6:00

Pianificazione manuale, temporale e con sensore

• Manuale
• Automatica a un'ora specifica
• Automatica se è soddisfatta una condizione
  • Pianificazione con sensore

• Aggiorna manualmente la tabella dipendenti
• Aggiorna la tabella dipendenti alle 6:00
• Aggiorna le tabelle dei reparti se è stato aggiunto un nuovo dipendente

Batch e stream

• Batch
  • Raggruppa record a intervalli
  • Spesso più economico
• Stream
  • Invia subito i singoli record

• Brani caricati dagli artisti
• Tabella dipendenti
• Tabella ricavi
• Nuovi utenti che accedono
• Altro esempio: ascolto online vs offline

Strumenti di pianificazione

Riepilogo

• Cos'è la pianificazione
• Modi per configurarla
• Differenza tra batch e stream
• Come viene implementata da Spotflix
• Airflow, Luigi

Ayo berlatih!

Capire il Data Engineering