Pregătirea datelor

Înțelegerea științei datelor

Hadrien Lacroix

Content Developer, DataCamp

Fluxul de lucru cu date

fluxul de lucru în știința datelor

Înțelegerea științei datelor

De ce pregătim datele?

  • Datele reale sunt dezordonate
  • Pregătirea previne:
    • erori
    • rezultate incorecte
    • distorsionarea algoritmilor

pregătire supă

Înțelegerea științei datelor

Să începem curățarea

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

racletă care curăță un geam

Înțelegerea științei datelor

Date ordonate

Înainte

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

rufe împăturite ordonat

Înțelegerea științei datelor

Date ordonate – rezultat

Înainte

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

După

$$

Name Age Size Country
Sara "26" 1.78 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"
Înțelegerea științei datelor

Eliminarea duplicatelor

Înainte

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

cireșe duble

Înțelegerea științei datelor

Eliminarea duplicatelor | rezultat

Înainte

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

După

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Înțelegerea științei datelor

ID unic

Înainte

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

rață violet printre rațe galbene

Înțelegerea științei datelor

ID unic | rezultat

Înainte

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

După

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"
Înțelegerea științei datelor

Omogenitate

Înainte

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

pești aurii de dimensiuni diferite

Înțelegerea științei datelor

Omogenitate | rezultat

Înainte

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

După

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"
Înțelegerea științei datelor

Omogenitate, din nou

Înainte

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"

steagul belgian

Înțelegerea științei datelor

Omogenitate, din nou | rezultat

Înainte

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

După

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"
Înțelegerea științei datelor

Tipuri de date

Înainte

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

tipuri diferite de paste

Înțelegerea științei datelor

Tipuri de date | rezultat

Înainte

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

După

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"
Înțelegerea științei datelor

Valori lipsă

Înainte

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"

Cauze:

  • introducere date
  • eroare
  • valoare lipsă validă

Soluții:

  • imputare
  • eliminare
  • păstrare
Înțelegerea științei datelor

Valori lipsă | rezultat

Înainte

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "USA"
2 Hadrien 1.80 "FR"

După

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 28 1.80 "FR"
Înțelegerea științei datelor

Să exersăm!

Înțelegerea științei datelor

Preparing Video For Download...