Garantire la qualità dei dati con DevOps

Concetti di DevOps

Cem Sakarya

DevOps Risk Advisor

DevOps assicura buon codice

  Buon codice genera buoni dati che portano a buon ml.

  • La maggior parte del software gestisce dati
  • Un buon software produce dati di alta qualità
  • DevOps aiuta a mantenere alta qualità nel software
Concetti di DevOps

Qualità dei dati

 

  • Quanto è affidabile l'informazione?
  • Informazioni più recenti e accurate
  • Può essere difficile e costoso ottenerle
  • Non tutti i dati richiedono la stessa qualità
  • La Data Quality ha molti elementi
Concetti di DevOps

Elementi della qualità dei dati

  Elementi della Data Quality: Accuracy, Completeness, Consistency, Relevance, Timeliness

 

  • Gli elementi scompongono e definiscono la Data Quality
  • Vanno tracciati e standardizzati
Concetti di DevOps

   

Elementi della Data Quality: Accuracy, Completeness, Consistency, Relevance, Timeliness; Accuracy evidenziata

   

  • I dati sono corretti in ogni dettaglio?
  • Va monitorata da vicino
Concetti di DevOps

   

Elementi della Data Quality: Accuracy, Completeness, Consistency, Relevance, Timeliness; Completeness evidenziata

   

  • Quanto è completa l'informazione?
  • Verifica se si perdono dati quando li salvi in un database
  • Verifica se si perdono dati quando li sposti tra database
Concetti di DevOps

   

Elementi della Data Quality: Accuracy, Completeness, Consistency, Relevance, Timeliness; Consistency evidenziata

   

  • La coerenza riguarda l'affidabilità dell'informazione
  • È anche detta Integrità dei dati
  • Va monitorata e testata da vicino
Concetti di DevOps

   

Elementi della Data Quality: Accuracy, Completeness, Consistency, Relevance, Timeliness; Relevance evidenziata

   

  • Conservare e gestire solo le informazioni rilevanti
  • Le informazioni irrilevanti sprecano tempo e risorse
Concetti di DevOps

   

Elementi della Data Quality: Accuracy, Completeness, Consistency, Relevance, Timeliness; Timeliness evidenziata

   

  • Quanto sono aggiornate le informazioni?
  • I dati vecchi possono essere sostituiti da informazioni più recenti
  • I dati grezzi nei microservizi non si usano per l'analisi
  • I microservizi comunicano via API per ottenere le info più recenti
  • I dati nei microservizi vanno replicati con frequenza accettabile
Concetti di DevOps

Esercitiamoci!

Concetti di DevOps

Preparing Video For Download...