Vad är datarensning och dataförberedelse?

Dataförberedelse i Alteryx

Deanna Sanchez

Alteryx ACE and Owner, Nova Geographica LLC

Varför är ren data viktigt?

GIGO: "Garbage In, Garbage Out"

Rensning och förberedelse av data säkerställer att du:
- Undviker misstag och förhindrar fel
- Standardiserar data och format
- Ökar produktiviteten
- Snabbare når insikter

En illustration av skräp som matas in i och ut ur en databas

Att rensa data är som att...

Byta olja på bilen – Att serva bilen med rena komponenter och färska vätskor förbättrar prestandan.

En bild av en mekaniker som servar en bil

Exempel på smutsig data

Saknad eller ofullständig data

Datatabell som markerar saknad data, t.ex. tomma dataceller

Exempel på smutsig data

Saknad eller ofullständig data
Ostandardiserad eller inkonsekvent data

Datatabell som markerar inkonsekvent data, t.ex. versaler blandat med inledande versal

Exempel på smutsig data

Saknad eller ofullständig data
Ostandardiserad eller inkonsekvent data
Datainmatningsfel

Datatabell som markerar datainmatningsfel, t.ex. för många siffror

Exempel på smutsig data

Saknad eller ofullständig data
Ostandardiserad eller inkonsekvent data
Datainmatningsfel
Inledande eller avslutande blanksteg samt onödiga tecken eller interpunktion

Datatabell som markerar onödig interpunktion, t.ex. dollartecken på numeriska värden

Tekniker för datarensning

Hantera saknad data

Flagga saknad data genom att imputera värden, t.ex.:
- Konvertera null-värden till tomma strängar för strängdatatyper
- Imputera null-värden till 0 för numeriska typer
Filtrera bort saknad data från dataflödet

En bild av analytiker som rensar datafiler med förstoringsglas och kvast

Tekniker för datarensning

Standardisera data

Säkerställ formatering
- Lägg till $ för valuta
- 000123456
Kontrollera namnkonventioner för fältnamn och filnamn
- "filename_01012004.csv"
Ändra skiftläge för data i ett fält
- LOCATION
Ändra datatyper

En bild av en analytiker som sorterar data i rätt mappar

Tekniker för datarensning

Ta bort onödiga element

Inledande/avslutande blanksteg
Tabbar och radbrytningar
Rader eller kolumner som inte behövs
Onödig interpunktion, bokstäver och siffror

En bild av byggnadsarbetare som rensar datafiler

Profil med färgkodning

Färgkodning i Results-fönstret och Profile vägleder användningen av datarensningstekniker.

Grön = OK

OK-färgprofil

Profil med färgkodning

Färgkodning i Results-fönstret och Profile vägleder användningen av datarensningstekniker.

Grön = OK
Vit = Unik

OK- och Unik-färgprofiler

Profil med färgkodning

Färgkodning i Results-fönstret och Profile vägleder användningen av datarensningstekniker.

Grön = OK
Vit = Unik
Gul = Null

OK-, Unik- och Null-färgprofiler

Profil med färgkodning

Färgkodning i Results-fönstret och Profile vägleder användningen av datarensningstekniker.

Grön = OK
Vit = Unik
Gul = Null
Röd = Inte OK (t.ex. avslutande blanksteg)

OK-, Unik-, Null- och Inte OK-färgprofiler

Profil med färgkodning

Färgkodning i Results-fönstret och Profile vägleder användningen av datarensningstekniker.

Grön = OK
Vit = Unik
Gul = Null
Röd = Inte OK (t.ex. avslutande blanksteg)
Grå = Tom

Alla färgprofiler

Datatyper i Alteryx

Tabell med Boolean-datatypen visad

Viktigt att känna till olika datatyper
- Hur och när de används
Fem huvudkategorier av data
- Boolean – binära format

Datatyper i Alteryx

Tabell med Boolean och Numeric visade

Viktigt att känna till olika datatyper
- Hur och när de används
Fem huvudkategorier av data
- Boolean – binära format
- Numeric – numerisk data, inkluderar Double

Datatyper i Alteryx

Tabell med Boolean, Numeric och String visade

Viktigt att känna till olika datatyper
- Hur och när de används
Fem huvudkategorier av data
- Boolean – binära format
- Numeric – numerisk data, inkluderar Double
- String – textdata

¹ String, som sträcker sig från typen String till V_W String.

Datatyper i Alteryx

Tabell med de fyra datatyperna – Boolean, Numeric, String och DateTime

Viktigt att känna till olika datatyper
- Hur och när de används
Fem huvudkategorier av data
- Boolean – binära format
- Numeric – numerisk data, inkluderar Double
- String – textdata
- DateTime – datum- och tidsdata

Datatyper i Alteryx

Tabell med alla fem huvuddatatyper

Viktigt att känna till olika datatyper
- Hur och när de används
Fem huvudkategorier av data
- Boolean – binära format
- Numeric – numerisk data, inkluderar Double
- String – textdata
- DateTime – datum- och tidsdata
- Spatial – spatiala objekt och punkter

Information om datamängden

Praktiska övningar i Alteryx:
- New York City Property Sales
- En datamängd för alla övningar
- Analys av de högsta försäljningarna

En bild av New Yorks silhuett

Nu kör vi en övning!

Dataförberedelse i Alteryx

Preparing Video For Download...