Curățarea datelor

Concepte de Data Warehousing

Aaren Stubberfield

Data Scientist

Agenda videoclipului

  • Revizia formatului datelor
  • Parsarea adreselor
  • Validarea datelor
  • Deduplicarea
Concepte de Data Warehousing

Curățarea formatului datelor

  • Actualizarea valorilor la un format așteptat
    • Date calendaristice
    • Denumiri de opțiuni
    • Majusculizare
  • Asigură un format de ieșire consistent

Exemplu date taxi

Două tabele combinate într-unul singur

Concepte de Data Warehousing

Parsarea adreselor

  • Împărțirea unei adrese stradale în componentele sale
  • Se pot utiliza instrumente pentru validarea adreselor
Adresă
1234 S Normal St, Cleveland, OH 44102
Adresă Oraș Stat Cod poștal
1234 S Normal St Cleveland OH 44102
Concepte de Data Warehousing

Validarea datelor

  • Verificare interval
    • Valoarea se încadrează în intervalul așteptat?
    • Exemplu: Vârsta unei persoane
  • Verificare tip
    • Valoarea are tipul de date corect?
    • Exemplu: Vârsta stocată ca șir vs. număr

Tabel cu coloana Vârstă, primul rând conținând valoarea 300, marcată ca invalidă.

Tabel cu trei coloane, prima coloană Vârstă având tipul de date șir, marcată ca invalidă.

Concepte de Data Warehousing

Eliminarea rândurilor duplicate

  • Acest proces elimină înregistrările duplicate

Două tabele cu două coloane care urmează să fie îmbinate

Tabelul final îmbinat fără rândul duplicat

Concepte de Data Warehousing

Guvernanța datelor

Ilustrație conformitate cu reglementările

Concepte de Data Warehousing

Să exersăm!

Concepte de Data Warehousing

Preparing Video For Download...