Database e controlli di qualità

Svelare la Decision Science

Howard Friedman

Adjunct Professor at Columbia University

Triage delle fonti dati

Non tutti i dati sono ugualmente utili

  • Alcuni dataset richiedono molta pulizia o mancano di feature utili
  • Altri potrebbero non valere lo sforzo

 

Il triage dei dati aiuta a dare priorità

  • Valuta se un dataset è valido prima di investire tempo e risorse

Parti dalla disponibilità

  • I dati sono facili da accedere o dietro paywall
  • Ci sono barriere di permessi o sicurezza
  • Risolverlo presto evita sprechi di tempo

triage.png

Svelare la Decision Science

Verifiche chiave

Considera i costi

  • Ci sono costi di licenza o accesso
  • Serviranno storage o strumenti specializzati a pagamento

Valuta l’utilità

  • Il dataset contiene ciò che serve all’analisi
  • Controlla ambito, dettaglio, completezza e rilevanza delle feature

Verifica la frequenza di aggiornamento

  • Predizioni in tempo reale richiedono dati in tempo reale o aggiornati regolarmente
  • Cicli di aggiornamento non allineati rendono i dati inutilizzabili

Valuta la risoluzione geografica

  • I dati sono al livello spaziale richiesto dall’analisi
  • Dati nazionali non aiutano se serve dettaglio per CAP
Svelare la Decision Science

Controlli di qualità dei dati

La qualità dei dati conta

  • Dati scadenti rovinano i modelli e portano a decisioni sbagliate
  • "Garbage in, garbage out" è un rischio reale nella decision science

GIGO.png

Attenzione ai missing

  • Percentuale di valori mancanti per colonna
  • Pattern che indicano problemi nella raccolta

Controlli di range di base

  • Ci sono valori senza senso nel tuo contesto
  • Esempi: età = 450 o prezzo = -$10
  • Usa i controlli per segnalare presto i problemi maggiori
Svelare la Decision Science

Altri controlli

Rivedi gli outlier

  • Usa istogrammi o box plot per visualizzarli
  • Confrontati con gli stakeholder prima di escludere dati

Valuta la tempestività

  • Chiedi se i dati sono abbastanza recenti da essere rilevanti
  • Contesti dinamici richiedono aggiornamenti frequenti

Assicura coerenza di formattazione

  • Cerca formati data incoerenti, errori di ortografia o nomi colonna non allineati
  • Pulisci e standardizza per evitare problemi in analisi

QA.png

Svelare la Decision Science

Ayo berlatih!

Svelare la Decision Science

Preparing Video For Download...