Przygotowanie danych

Zrozumieć data science

Hadrien Lacroix

Content Developer, DataCamp

Przepływ pracy z danymi

przepływ pracy w data science

Zrozumieć data science

Dlaczego przygotowywać dane?

  • Rzeczywiste dane są nieuporządkowane
  • Przygotowanie zapobiega:
    • błędom
    • nieprawidłowym wynikom
    • zaburzeniu algorytmów

przygotowywanie zupy

Zrozumieć data science

Zacznijmy czyścić dane

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

skrobaczka czyszcząca okno

Zrozumieć data science

Uporządkowane dane

Przed

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

złożone pranie

Zrozumieć data science

Uporządkowane dane – wynik

Przed

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

Po

$$

Name Age Size Country
Sara "26" 1.78 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"
Zrozumieć data science

Usuwanie duplikatów

Przed

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

podwójna wiśnia

Zrozumieć data science

Usuwanie duplikatów – wynik

Przed

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

Po

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Zrozumieć data science

Unikalny identyfikator

Przed

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

fioletowa kaczka wśród żółtych kaczek

Zrozumieć data science

Unikalny identyfikator – wynik

Przed

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

Po

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"
Zrozumieć data science

Jednorodność

Przed

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

mała złota rybka naprzeciw dużej złotej rybki

Zrozumieć data science

Jednorodność – wynik

Przed

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

Po

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"
Zrozumieć data science

Jednorodność – ciąg dalszy

Przed

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"

flaga belgijska

Zrozumieć data science

Jednorodność – ciąg dalszy – wynik

Przed

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

Po

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"
Zrozumieć data science

Typy danych

Przed

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

różne rodzaje makaronu

Zrozumieć data science

Typy danych – wynik

Przed

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

Po

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"
Zrozumieć data science

Brakujące wartości

Przed

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"

Przyczyny:

  • wprowadzenie danych
  • błąd
  • prawidłowa brakująca wartość

Rozwiązania:

  • imputacja
  • usunięcie
  • zachowanie
Zrozumieć data science

Brakujące wartości – wynik

Przed

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "USA"
2 Hadrien 1.80 "FR"

Po

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 28 1.80 "FR"
Zrozumieć data science

Czas na ćwiczenia!

Zrozumieć data science

Preparing Video For Download...