Databaser och kvalitetskontroller

Beslutsvetenskap på djupet

Howard Friedman

Adjunct Professor at Columbia University

Triage av datakällor

All data är inte lika användbar

  • Vissa datamängder kräver mycket rensning eller saknar meningsfulla särdrag
  • Andra kanske inte är värda ansträngningen alls

 

Datatriage hjälper dig att prioritera snabbt

  • Bedöm om en datamängd är användbar innan du investerar tid och resurser

Börja med tillgänglighet

  • Är data lätt att komma åt eller ligger den bakom en betalvägg
  • Finns det behörighets- eller säkerhetshinder
  • Att klara ut detta tidigt undviker onödigt arbete

triage.png

Beslutsvetenskap på djupet

Viktiga kontroller

Beakta kostnader

  • Finns det licens- eller åtkomstavgifter
  • Behöver du betala för lagring eller specialverktyg

Utvärdera nytta

  • Innehåller datamängden det du behöver för din analys
  • Kontrollera omfattning, detaljeringsgrad, fullständighet och särdragsrelevans

Kontrollera uppdateringsfrekvens

  • Realtidsprognoser kräver realtidsdata eller regelbundet uppdaterad data
  • Felmatchade uppdateringscykler kan göra data oanvändbar

Bedöm geografisk upplösning

  • Matchar data den spatiala nivå som din analys kräver
  • Data på nationell nivå hjälper inte om du behöver postnummersgranularitet
Beslutsvetenskap på djupet

Datakvalitetskontroller

Datakvalitet är avgörande

  • Dålig data kan förstöra modeller och leda till felaktiga beslut
  • "Skräp in, skräp ut" är en verklig risk inom beslutsstöd

GIGO.png

Håll koll på saknade värden

  • Andelen saknade värden i varje kolumn
  • Mönster som tyder på djupare problem med datainsamlingen

Gör grundläggande intervalltester

  • Finns det värden som inte är rimliga i ditt sammanhang
  • Exempel: ålder = 450 eller pris = -10 kr
  • Använd kontroller för att flagga större problem tidigt
Beslutsvetenskap på djupet

Fler kontroller

Granska outliers

  • Använd histogram eller lådagram för att visualisera
  • Diskutera med intressenter innan du utesluter något

Bedöm aktualitet

  • Fråga dig om din data är tillräckligt aktuell för att vara relevant
  • Snabbföränderliga sammanhang kräver ofta uppdaterad data

Säkerställ formatkonsekvens

  • Leta efter inkonsekventa datumformat, stavningsproblem eller namnmissmatchningar i kolumner
  • Rensa och standardisera för att undvika problem under analysen

QA.png

Beslutsvetenskap på djupet

Nu kör vi en övning!

Beslutsvetenskap på djupet

Preparing Video For Download...