Datavoorbereiding

Data Science begrijpen

Hadrien Lacroix

Content Developer, DataCamp

Dataworkflow

data science workflow

Data Science begrijpen

Waarom data voorbereiden?

  • Echte data zijn rommelig
  • Voorbereiding wordt gedaan om het volgende te voorkomen:
    • fouten
    • onjuiste resultaten
    • bevooroordeelde algoritmen

preparing soup

Data Science begrijpen

We gaan beginnen met opschonen

Sara Lis Hadrien Lis
Leeftijd "27" "30" "30"
Lengte 1,77 5,58 1,80 5,58
Land "België" "VS" "FR" "VS"

scraper-cleaning-window

Data Science begrijpen

Opgeschoonde data

Voor

$$

Sara Lis Hadrien Lis
Leeftijd "27" "30" "30"
Lengte 1,77 5,58 1,80 5,58
Land "België" "VS" "FR" "VS"

folded-laundry

Data Science begrijpen

Opgeschoonde data-uitvoer

Voor

$$

Sara Lis Hadrien Lis
Leeftijd "27" "30" "30"
Lengte 1,77 5,58 1,80 5,58
Land "België" "VS" "FR" "VS"

Na

$$

Naam Leeftijd Lengte Land
Sara "26" 1,78 "België"
Lis "30" 5,58 "VS"
Hadrien 1,80 "FR"
Lis "30" 5,58 "VS"
Data Science begrijpen

Duplicated verwijderen

Voor

$$

Naam Leeftijd Lengte Land
Sara "27" 1,77 "België"
Lis "30" 5,58 "VS"
Hadrien 1,80 "FR"
Lis "30" 5,58 "VS"

double-cherry

Data Science begrijpen

Duplicaten verwijderen | uitvoer

Voor

$$

Naam Leeftijd Lengte Land
Sara "27" 1,77 "België"
Lis "30" 5,58 "VS"
Hadrien 1,80 "FR"
Lis "30" 5,58 "VS"

Na

$$

Naam Leeftijd Lengte Land
Sara "27" 1,77 "België"
Lis "30" 5,58 "VS"
Hadrien 1,80 "FR"
Data Science begrijpen

Unieke ID

Voor

$$

Naam Leeftijd Lengte Land
Sara "27" 1,77 "België"
Lis "30" 5,58 "VS"
Hadrien 1,80 "FR"

purple-duck-with-yellow-ducks

Data Science begrijpen

Unieke ID | uitvoer

Voor

$$

Naam Leeftijd Lengte Land
Sara "27" 1,77 "België"
Lis "30" 5,58 "VS"
Hadrien 1,80 "FR"

Na

$$

ID Naam Leeftijd Lengte Land
0 Sara "27" 1,77 "België"
1 Lis "30" 5,58 "VS"
2 Hadrien 1,80 "FR"
Data Science begrijpen

Homogeniteit

Voor

$$

ID Naam Leeftijd Lengte Land
0 Sara "27" 1,77 "België"
1 Lis "30" 5,58 "VS"
2 Hadrien 1,80 "FR"

small-goldfish-facing-large-goldfish

Data Science begrijpen

Homogeniteit | uitvoer

Voor

$$

ID Naam Leeftijd Lengte Land
0 Sara "27" 1,77 "België"
1 Lis "30" 5,58 "VS"
2 Hadrien 1,80 "FR"

Na

$$

ID Naam Leeftijd Lengte Land
0 Sara "27" 1,77 "België"
1 Lis "30" 1,70 "VS"
2 Hadrien 1,80 "FR"
Data Science begrijpen

Homogeniteit, opnieuw

Voor

$$

ID Naam Leeftijd Lengte Land
0 Sara "27" 1,77 "België"
1 Lis "30" 1,70 "VS"
2 Hadrien 1,80 "FR"

belgian-flag

Data Science begrijpen

Homogeniteit, opnieuw | uitvoer

Voor

$$

ID Naam Leeftijd Lengte Land
0 Sara "27" 1,77 "België"
1 Lis "30" 1,70 "VS"
2 Hadrien 1,80 "FR"

Na

$$

ID Naam Leeftijd Lengte Land
0 Sara "27" 1,77 "BE"
1 Lis "30" 1,70 "VS"
2 Hadrien 1,80 "FR"
Data Science begrijpen

Datatypen

Voor

$$

ID Naam Leeftijd Lengte Land
0 Sara "27" 1,77 "BE"
1 Lis "30" 1,70 "VS"
2 Hadrien 1,80 "FR"

different-types-of-pasta

Data Science begrijpen

Datatypen | uitvoer

Voor

$$

ID Naam Leeftijd Lengte Land
0 Sara "27" 1,77 "BE"
1 Lis "30" 1,70 "VS"
2 Hadrien 1,80 "FR"

Na

$$

ID Naam Leeftijd Lengte Land
0 Sara 27 1,77 "BE"
1 Lis 30 1,70 "VS"
2 Hadrien 1,80 "FR"
Data Science begrijpen

Ontbrekende waarden

Voor

$$

ID Naam Leeftijd Lengte Land
0 Sara 27 1,77 "BE"
1 Lis 30 1,70 "VS"
2 Hadrien 1,80 "FR"

Redenen:

  • data-invoer
  • fout
  • geldige ontbrekende waarde

Oplossingen:

  • toeschrijven
  • laten vallen
  • behouden
Data Science begrijpen

Ontbrekende waarden | uitvoer

Voor

$$

ID Naam Leeftijd Lengte Land
0 Sara 27 1,77 "BE"
1 Lis 30 1,70 "VS"
2 Hadrien 1,80 "FR"

Na

$$

ID Naam Leeftijd Lengte Land
0 Sara 27 1,77 "BE"
1 Lis 30 1,70 "VS"
2 Hadrien 28 1,80 "FR"
Data Science begrijpen

Laten we oefenen!

Data Science begrijpen

Preparing Video For Download...