Ce sunt curățarea și pregătirea datelor?

Pregătirea datelor în Alteryx

Deanna Sanchez

Alteryx ACE and Owner, Nova Geographica LLC

De ce sunt importante datele curate?

GIGO: „Gunoi la intrare, gunoi la ieșire"

  • Curățarea și pregătirea datelor vă ajută să:
    • Evitați greșelile și preveniți erorile
    • Standardizați datele și formatele
    • Creșteți productivitatea
    • Obțineți insight-uri mai rapid

Ilustrație cu gunoi care intră și iese dintr-o bază de date

Pregătirea datelor în Alteryx

Curățarea datelor este ca...

Revizia mașinii - Optimizarea mașinii cu componente curate și fluide proaspete îmbunătățește performanța.

 

Imagine cu un mecanic care revizuiește o mașină

Pregătirea datelor în Alteryx

Exemple de date murdare

  • Date lipsă sau incomplete

Tabel de date care evidențiază datele lipsă, cum ar fi celule goale

Pregătirea datelor în Alteryx

Exemple de date murdare

  • Date lipsă sau incomplete
  • Date nestandardizate sau inconsistente

Tabel de date care evidențiază date inconsistente, cum ar fi majuscule amestecate cu titlu propriu

Pregătirea datelor în Alteryx

Exemple de date murdare

  • Date lipsă sau incomplete
  • Date nestandardizate sau inconsistente
  • Erori de introducere a datelor

Tabel de date care evidențiază erori de introducere, cum ar fi prea multe cifre

Pregătirea datelor în Alteryx

Exemple de date murdare

  • Date lipsă sau incomplete
  • Date nestandardizate sau inconsistente
  • Erori de introducere a datelor
  • Spații în față/sfârșit și caractere sau semne de punctuație inutile

Tabel de date care evidențiază semne de punctuație inutile, cum ar fi simboluri $ pe date numerice

Pregătirea datelor în Alteryx

Tehnici de curățare a datelor

Gestionarea datelor lipsă

  • Marcați datele lipsă prin imputarea valorilor, de ex.:
    • Conversia valorilor null în câmpuri goale pentru tipuri șir
    • Imputarea valorilor null cu 0 pentru tipuri numerice
  • Filtrați datele lipsă din fluxul de date

Imagine cu analiști care curăță fișiere de date cu o lupă și o mătură

Pregătirea datelor în Alteryx

Tehnici de curățare a datelor

Standardizarea datelor

  • Asigurați formatarea
    • Adăugați $ la valori monetare
    • 000123456
  • Verificați convențiile de denumire pentru câmpuri și fișiere
    • "filename_01012004.csv"
  • Modificați majusculele din câmpuri
    • LOCATION
  • Modificați tipurile de date

Imagine cu un analist care arhivează date în dosare corespunzătoare

Pregătirea datelor în Alteryx

Tehnici de curățare a datelor

Eliminarea elementelor inutile

  • Spații în față/sfârșit
  • Taburi și întreruperi de rând
  • Rânduri sau coloane inutile
  • Semne de punctuație, litere și cifre inutile

Imagine cu muncitori care curăță fișiere de date

Pregătirea datelor în Alteryx

Profil cu codificare cromatică

Codificarea cromatică din fereastra Rezultate și Profil ghidează aplicarea tehnicilor de curățare.

  • Verde = OK

Profil de culoare OK

Pregătirea datelor în Alteryx

Profil cu codificare cromatică

Codificarea cromatică din fereastra Rezultate și Profil ghidează aplicarea tehnicilor de curățare.

  • Verde = OK
  • Alb = Unic

Profile de culoare OK și Unic

Pregătirea datelor în Alteryx

Profil cu codificare cromatică

Codificarea cromatică din fereastra Rezultate și Profil ghidează aplicarea tehnicilor de curățare.

  • Verde = OK
  • Alb = Unic
  • Galben = Null

Profile de culoare OK, Unic și Null

Pregătirea datelor în Alteryx

Profil cu codificare cromatică

Codificarea cromatică din fereastra Rezultate și Profil ghidează aplicarea tehnicilor de curățare.

  • Verde = OK
  • Alb = Unic
  • Galben = Null
  • Roșu = Nevalid (ex.: spații finale)

Profile de culoare OK, Unic, Null și Nevalid

Pregătirea datelor în Alteryx

Profil cu codificare cromatică

Codificarea cromatică din fereastra Rezultate și Profil ghidează aplicarea tehnicilor de curățare.

  • Verde = OK
  • Alb = Unic
  • Galben = Null
  • Roșu = Nevalid (ex.: spații finale)
  • Gri = Gol

Toate profilele de culoare

Pregătirea datelor în Alteryx

Tipuri de date în Alteryx

Tabel cu tipul de date Boolean afișat

  • Important să cunoașteți diversele tipuri de date
    • Cum și când să le utilizați
  • Cinci categorii principale de date
    • Boolean - formate binare
Pregătirea datelor în Alteryx

Tipuri de date în Alteryx

Tabel cu Boolean și Numeric afișate

  • Important să cunoașteți diversele tipuri de date
    • Cum și când să le utilizați
  • Cinci categorii principale de date
    • Boolean - formate binare
    • Numeric - date numerice, include Double
Pregătirea datelor în Alteryx

Tipuri de date în Alteryx

Tabel cu Boolean, Numeric și String afișate

  • Important să cunoașteți diversele tipuri de date
    • Cum și când să le utilizați
  • Cinci categorii principale de date
    • Boolean - formate binare
    • Numeric - date numerice, include Double
    • String - date text
1 String, care cuprinde tipurile de la String la V_W String.
Pregătirea datelor în Alteryx

Tipuri de date în Alteryx

Tabel cu patru tipuri de date - Boolean, Numeric, String și DateTime

  • Important să cunoașteți diversele tipuri de date
    • Cum și când să le utilizați
  • Cinci categorii principale de date
    • Boolean - formate binare
    • Numeric - date numerice, include Double
    • String - date text
    • DateTime - date calendaristice și ore
Pregătirea datelor în Alteryx

Tipuri de date în Alteryx

Tabel cu toate cele cinci tipuri principale de date

  • Important să cunoașteți diversele tipuri de date
    • Cum și când să le utilizați
  • Cinci categorii principale de date
    • Boolean - formate binare
    • Numeric - date numerice, include Double
    • String - date text
    • DateTime - date calendaristice și ore
    • Spatial - obiecte și puncte spațiale
Pregătirea datelor în Alteryx

Detalii despre set de date

  • Exerciții practice în Alteryx:
    • Vânzări imobiliare în New York City
    • Un singur set de date pentru toate exercițiile
    • Analiza celor mai mari vânzări

Imagine cu panorama orașului New York

Pregătirea datelor în Alteryx

Să exersăm!

Pregătirea datelor în Alteryx

Preparing Video For Download...