Dataförberedelse

Förstå datavetenskap

Hadrien Lacroix

Content Developer, DataCamp

Dataarbetsflöde

arbetsflöde för datavetenskap

Förstå datavetenskap

Varför förbereda data?

  • Verklig data är rörig
  • Förberedelse görs för att undvika:
    • fel
    • felaktiga resultat
    • snedvridning av algoritmer

förbereder soppa

Förstå datavetenskap

Dags att rensa

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

skrapa-rengör-fönster

Förstå datavetenskap

Välstrukturerad data

Före

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

vikt tvätt

Förstå datavetenskap

Välstrukturerad data – resultat

Före

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

Efter

$$

Name Age Size Country
Sara "26" 1.78 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"
Förstå datavetenskap

Ta bort dubbletter

Före

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

dubbelt körsbär

Förstå datavetenskap

Ta bort dubbletter – resultat

Före

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

Efter

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Förstå datavetenskap

Unikt ID

Före

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

lila anka bland gula ankor

Förstå datavetenskap

Unikt ID – resultat

Före

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

Efter

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"
Förstå datavetenskap

Homogenitet

Före

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

liten guldfisk möter stor guldfisk

Förstå datavetenskap

Homogenitet – resultat

Före

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

Efter

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"
Förstå datavetenskap

Homogenitet, igen

Före

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"

belgisk flagga

Förstå datavetenskap

Homogenitet, igen – resultat

Före

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

Efter

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"
Förstå datavetenskap

Datatyper

Före

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

olika typer av pasta

Förstå datavetenskap

Datatyper – resultat

Före

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

Efter

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"
Förstå datavetenskap

Saknade värden

Före

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"

Orsaker:

  • datainmatning
  • fel
  • giltigt saknat värde

Lösningar:

  • imputera
  • ta bort
  • behåll
Förstå datavetenskap

Saknade värden – resultat

Före

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "USA"
2 Hadrien 1.80 "FR"

Efter

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 28 1.80 "FR"
Förstå datavetenskap

Nu kör vi en övning!

Förstå datavetenskap

Preparing Video For Download...