Databáze a kontrola kvality

Demystifikace rozhodovací vědy

Howard Friedman

Adjunct Professor at Columbia University

Třídění datových zdrojů

Ne všechna data jsou stejně užitečná

  • Některé datové sady vyžadují rozsáhlé čištění nebo postrádají smysluplné atributy
  • Jiné nemusí stát za vložené úsilí

 

Třídění dat pomáhá rychle stanovit priority

  • Posuzujte použitelnost datové sady ještě před investicí času a zdrojů

Začněte dostupností

  • Jsou data snadno dostupná, nebo za paywallem
  • Existují bariéry v podobě oprávnění nebo zabezpečení
  • Vyřešení tohoto problému včas zabrání zbytečné práci

triage.png

Demystifikace rozhodovací vědy

Klíčové kontroly

Zvažte náklady

  • Existují licenční nebo přístupové poplatky
  • Budete platit za úložiště nebo specializované nástroje

Vyhodnoťte užitečnost

  • Obsahuje datová sada to, co pro analýzu potřebujete
  • Zkontrolujte rozsah, detail, úplnost a relevanci atributů

Zkontrolujte frekvenci aktualizací

  • Predikce v reálném čase vyžadují data aktualizovaná v reálném čase nebo pravidelně
  • Nesoulad v cyklech aktualizací může data znehodnotit

Posuzujte geografické rozlišení

  • Odpovídají data prostorové úrovni, kterou analýza vyžaduje
  • Celostátní data nestačí, pokud potřebujete granularitu na úrovni PSČ
Demystifikace rozhodovací vědy

Kontroly kvality dat

Kvalita dat je zásadní

  • Špatná data mohou zničit modely a vést ke chybným rozhodnutím
  • „Špatný vstup, špatný výstup" je reálné riziko v datové vědě

GIGO.png

Sledujte chybějící hodnoty

  • Podíl chybějících hodnot v každém sloupci
  • Vzory naznačující hlubší problémy se sběrem dat

Proveďte základní kontroly rozsahu

  • Jsou v datech hodnoty, které nedávají smysl
  • Příklady: věk = 450 nebo cena = -10 Kč
  • Pomocí kontrol odhalte zásadní problémy včas
Demystifikace rozhodovací vědy

Další kontroly

Kontrola odlehlých hodnot

  • Pro vizualizaci použijte histogramy nebo krabicové grafy
  • Před vyřazením hodnot konzultujte se zainteresovanými stranami

Hodnocení aktuálnosti

  • Zvažte, zda jsou data dostatečně aktuální
  • V rychle se měnících oblastech jsou potřeba frequently aktualizovaná data

Konzistence formátování

  • Hledejte nejednotné formáty dat, pravopisné chyby nebo neshody názvů sloupců
  • Vyčistěte a standardizujte data, aby nedocházelo k problémům při analýze

QA.png

Demystifikace rozhodovací vědy

Pojďme si procvičit!

Demystifikace rozhodovací vědy

Preparing Video For Download...