Příprava dat

Understanding Data Science

Hadrien Lacroix

Content Developer, DataCamp

Datový pracovní postup

pracovní postup v datové vědě

Understanding Data Science

Proč připravovat data?

  • Reálná data jsou neuspořádaná
  • Příprava zabraňuje:
    • chybám
    • nesprávným výsledkům
    • zkreslení algoritmů

příprava polévky

Understanding Data Science

Začněme čistit

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

stěrka čistí okno

Understanding Data Science

Upravená data

Před

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

složené prádlo

Understanding Data Science

Výstup upraveného datasetu

Před

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

Po

$$

Name Age Size Country
Sara "26" 1.78 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"
Understanding Data Science

Odstranění duplikátů

Před

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

dvojité třešně

Understanding Data Science

Odstranění duplikátů | výstup

Před

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

Po

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Understanding Data Science

Jedinečné ID

Před

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

fialová kachna mezi žlutými kachnami

Understanding Data Science

Jedinečné ID | výstup

Před

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

Po

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"
Understanding Data Science

Homogenita

Před

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

malá zlatá rybka vedle velké zlaté rybky

Understanding Data Science

Homogenita | výstup

Před

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

Po

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"
Understanding Data Science

Homogenita, znovu

Před

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"

belgická vlajka

Understanding Data Science

Homogenita, znovu | výstup

Před

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

Po

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"
Understanding Data Science

Datové typy

Před

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

různé druhy těstovin

Understanding Data Science

Datové typy | výstup

Před

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

Po

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"
Understanding Data Science

Chybějící hodnoty

Před

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"

Příčiny:

  • zadání dat
  • chyba
  • platná chybějící hodnota

Řešení:

  • imputace
  • vyřazení
  • ponechání
Understanding Data Science

Chybějící hodnoty | výstup

Před

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "USA"
2 Hadrien 1.80 "FR"

Po

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 28 1.80 "FR"
Understanding Data Science

Pojďme si procvičit!

Understanding Data Science

Preparing Video For Download...