Čištění dat

Data Warehousing Concepts

Aaren Stubberfield

Data Scientist

Osnova videa

  • Úprava formátu dat
  • Parsování adres
  • Validace dat
  • Deduplikace
Data Warehousing Concepts

Čištění formátu dat

  • Aktualizace hodnot do očekávaného formátu
    • Data
    • Názvy možností
    • Velikost písmen
  • Zajišťuje konzistentní výstupní formát

Příklad dat o taxících

Dvě tabulky sloučené do jedné

Data Warehousing Concepts

Parsování adres

  • Rozdělení adresy na jednotlivé části
  • Možnost ověření adres pomocí nástrojů
Adresa
1234 S Normal St, Cleveland, OH 44102
Adresa Město Stát PSČ
1234 S Normal St Cleveland OH 44102
Data Warehousing Concepts

Validace dat

  • Kontrola rozsahu
    • Je hodnota v očekávaném rozsahu?
    • Příklad: Věk osoby
  • Kontrola typu
    • Je hodnota správného datového typu?
    • Příklad: Věk uložený jako řetězec vs. číslo

Tabulka s věkem, kde první řádek obsahuje hodnotu 300, která je označena jako neplatná.

Tabulka se třemi sloupci, kde sloupec Věk má datový typ řetězec, který je označen jako neplatný.

Data Warehousing Concepts

Odstranění duplicitních řádků

  • Tento proces odstraní duplicitní záznamy

Dvě tabulky se dvěma sloupci připravené ke sloučení

Výsledná sloučená tabulka bez duplicitního řádku

Data Warehousing Concepts

Správa dat

Ilustrace regulatorní shody

Data Warehousing Concepts

Pojďme si procvičit!

Data Warehousing Concepts

Preparing Video For Download...