Co je čištění a příprava dat?

Příprava dat v Alteryx

Deanna Sanchez

Alteryx ACE and Owner, Nova Geographica LLC

Proč jsou čistá data důležitá?

GIGO: "Garbage In, Garbage Out"

• Čištění a příprava dat zajišťují:
  • Předcházení chybám
  • Standardizaci dat a formátů
  • Zvýšení produktivity
  • Rychlejší získání přehledu

Čištění dat je jako...

Ladění vozu – Optimalizace vozu čistými díly a čerstvými provozními kapalinami zlepšuje výkon.

 

Příklady nečistých dat

• Chybějící nebo neúplná data

Příklady nečistých dat

• Chybějící nebo neúplná data
• Nestandardizovaná nebo nekonzistentní data

Příklady nečistých dat

• Chybějící nebo neúplná data
• Nestandardizovaná nebo nekonzistentní data
• Chyby při zadávání dat

Příklady nečistých dat

• Chybějící nebo neúplná data
• Nestandardizovaná nebo nekonzistentní data
• Chyby při zadávání dat
• Úvodní nebo koncové mezery a nepotřebné znaky či interpunkce

Techniky čištění dat

Správa chybějících dat

• Označení chybějících dat doplněním hodnot, například:
  • Převod hodnot null na prázdné řetězce pro textové typy
  • Doplnění hodnot null hodnotou 0 pro číselné typy
• Filtrování chybějících dat z datového toku

Techniky čištění dat

Standardizace dat

• Zajištění formátování
  • Přidání $ ke měně
  • 000123456
• Kontrola konvencí pojmenování polí a souborů
  • "filename_01012004.csv"
• Úprava velikosti písmen v poli
  • LOCATION
• Úprava datových typů

Techniky čištění dat

Odstranění nepotřebných položek

• Úvodní/koncové mezery
• Tabulátory a konce řádků
• Nepotřebné řádky nebo sloupce
• Nepotřebná interpunkce, písmena a čísla

Profil s barevným kódováním

Barevné kódování v okně Výsledky a Profilu napomáhá při výběru technik čištění dat.

• Zelená = OK

Profil s barevným kódováním

Barevné kódování v okně Výsledky a Profilu napomáhá při výběru technik čištění dat.

• Zelená = OK
• Bílá = Jedinečná

Profil s barevným kódováním

Barevné kódování v okně Výsledky a Profilu napomáhá při výběru technik čištění dat.

• Zelená = OK
• Bílá = Jedinečná
• Žlutá = Null

Profil s barevným kódováním

Barevné kódování v okně Výsledky a Profilu napomáhá při výběru technik čištění dat.

• Zelená = OK
• Bílá = Jedinečná
• Žlutá = Null
• Červená = Není OK (např. koncové mezery)

Profil s barevným kódováním

Barevné kódování v okně Výsledky a Profilu napomáhá při výběru technik čištění dat.

• Zelená = OK
• Bílá = Jedinečná
• Žlutá = Null
• Červená = Není OK (např. koncové mezery)
• Šedá = Prázdná

Datové typy v Alteryx

• Důležité znát různé datové typy
  • Jak a kdy je používat
• Pět hlavních kategorií datových typů
  • Boolean – binární formáty

Datové typy v Alteryx

• Důležité znát různé datové typy
  • Jak a kdy je používat
• Pět hlavních kategorií datových typů
  • Boolean – binární formáty
  • Numeric – číselná data, včetně Double

Datové typy v Alteryx

• Důležité znát různé datové typy
  • Jak a kdy je používat
• Pět hlavních kategorií datových typů
  • Boolean – binární formáty
  • Numeric – číselná data, včetně Double
  • String – textová data

¹ String zahrnuje typy od String po V_W String.

Datové typy v Alteryx

• Důležité znát různé datové typy
  • Jak a kdy je používat
• Pět hlavních kategorií datových typů
  • Boolean – binární formáty
  • Numeric – číselná data, včetně Double
  • String – textová data
  • DateTime – data a čas

Datové typy v Alteryx

• Důležité znát různé datové typy
  • Jak a kdy je používat
• Pět hlavních kategorií datových typů
  • Boolean – binární formáty
  • Numeric – číselná data, včetně Double
  • String – textová data
  • DateTime – data a čas
  • Spatial – prostorové objekty a body

Podrobnosti o datasetu

• Praktická cvičení v Alteryx:
  • Prodeje nemovitostí v New Yorku
  • Jeden dataset pro všechna cvičení
  • Analýza nejvyšších prodejů

Lass uns üben!

Příprava dat v Alteryx