Baze de date și verificări de calitate

Demistificarea științei decizionale

Howard Friedman

Adjunct Professor at Columbia University

Triajul surselor de date

Nu toate datele sunt la fel de utile

Unele seturi necesită curățare intensă sau nu conțin caracteristici relevante
Altele nu merită efortul necesar

Triajul datelor ajută la prioritizare rapidă

Evaluați viabilitatea unui set de date înainte de a investi timp și resurse

Începeți cu disponibilitatea

Datele sunt ușor accesibile sau necesită plată
Există bariere de permisiuni sau securitate
Clarificarea acestora timpuriu evită efortul irosit

Verificări cheie

Luați în calcul costurile

Există taxe de licențiere sau de acces
Va fi nevoie să plătiți pentru stocare sau instrumente specializate

Evaluați utilitatea

Setul de date conține ce aveți nevoie pentru analiză
Verificați domeniul, detaliile, completitudinea și relevanța caracteristicilor

Verificați frecvența de actualizare

Predicțiile în timp real necesită date actualizate în timp real sau regulat
Ciclurile de actualizare nepotrivite pot face datele inutilizabile

Evaluați rezoluția geografică

Datele corespund nivelului spațial necesar analizei
Datele la nivel național nu ajută dacă aveți nevoie de granularitate la nivel de cod poștal

Verificări ale calității datelor

Calitatea datelor contează

Datele deficitare pot compromite modelele și conduce la decizii greșite
„Gunoi la intrare, gunoi la ieșire" este un risc real în știința deciziei

Urmăriți valorile lipsă

Procentul de valori lipsă din fiecare coloană
Tipare care sugerează probleme mai profunde în colectarea datelor

Efectuați verificări de interval

Există valori care nu au sens în contextul dvs.
Exemple: vârstă = 450 sau preț = -10 lei
Utilizați verificările pentru a semnala problemele majore devreme

Verificări suplimentare

Revizuiți valorile aberante

Folosiți histograme sau boxplot-uri pentru vizualizare
Consultați părțile interesate înainte de a exclude ceva

Evaluați actualitatea datelor

Verificați dacă datele sunt suficient de recente pentru a fi relevante
Contextele dinamice necesită date actualizate frecvent

Asigurați consistența formatării

Căutați formate de dată inconsistente, erori de scriere sau nepotriviri în denumirea coloanelor
Curățați și standardizați pentru a evita probleme în analiză

Să exersăm!

Demistificarea științei decizionale

Preparing Video For Download...