Preparação de dados

Entendendo a ciência de dados

Hadrien Lacroix

Content Developer, DataCamp

Fluxo de trabalho de dados

fluxo de trabalho de ciência de dados

Entendendo a ciência de dados

Por que preparar os dados?

  • Dados reais são confusos
  • A preparação é feita para evitar:
    • erros
    • resultados incorretos
    • algoritmos tendenciosos

preparando sopa

Entendendo a ciência de dados

Vamos começar a limpeza

Sara Lis Hadrien Lis
Idade "27" "30" "30"
Tamanho 1,77 5,58 1,80 5,58
País "Bélgica" "EUA" "FR" "EUA"

scraper-cleaning-window

Entendendo a ciência de dados

Dados organizados

Antes

$$

Sara Lis Hadrien Lis
Idade "27" "30" "30"
Tamanho 1,77 5,58 1,80 5,58
País "Bélgica" "EUA" "FR" "EUA"

roupas-dobradas

Entendendo a ciência de dados

Saída de dados organizada

Antes

$$

Sara Lis Hadrien Lis
Idade "27" "30" "30"
Tamanho 1,77 5,58 1,80 5,58
País "Bélgica" "EUA" "FR" "EUA"

Depois

$$

Nome Idade Tamanho País
Sara "26" 1,78 "Bélgica"
Lis "30" 5,58 "EUA"
Hadrien 1,80 "FR"
Lis "30" 5,58 "EUA"
Entendendo a ciência de dados

Remover duplicatas

Antes

$$

Nome Idade Tamanho País
Sara "27" 1,77 "Bélgica"
Lis "30" 5,58 "EUA"
Hadrien 1,80 "FR"
Lis "30" 5,58 "EUA"

double-cherry

Entendendo a ciência de dados

Remover duplicatas | saída

Antes

$$

Nome Idade Tamanho País
Sara "27" 1,77 "Bélgica"
Lis "30" 5,58 "EUA"
Hadrien 1,80 "FR"
Lis "30" 5,58 "EUA"

Depois

$$

Nome Idade Tamanho País
Sara "27" 1,77 "Bélgica"
Lis "30" 5,58 "EUA"
Hadrien 1,80 "FR"
Entendendo a ciência de dados

ID único

Antes

$$

Nome Idade Tamanho País
Sara "27" 1,77 "Bélgica"
Lis "30" 5,58 "EUA"
Hadrien 1,80 "FR"

pato-roxo-com-patos-amarelos

Entendendo a ciência de dados

ID Único | Saída

Antes

$$

Nome Idade Tamanho País
Sara "27" 1,77 "Bélgica"
Lis "30" 5,58 "EUA"
Hadrien 1,80 "FR"

Depois

$$

ID Nome Idade Tamanho País
0 Sara "27" 1,77 "Bélgica"
1 Lis "30" 5,58 "EUA"
2 Hadrien 1,80 "FR"
Entendendo a ciência de dados

Homogeneidade

Antes

$$

ID Nome Idade Tamanho País
0 Sara "27" 1,77 "Bélgica"
1 Lis "30" 5,58 "EUA"
2 Hadrien 1,80 "FR"

peixe-dourado-pequeno-de-frente-para-peixe-dourado-grande

Entendendo a ciência de dados

Homogeneidade | saída

Antes

$$

ID Nome Idade Tamanho País
0 Sara "27" 1,77 "Bélgica"
1 Lis "30" 5,58 "EUA"
2 Hadrien 1,80 "FR"

Depois

$$

ID Nome Idade Tamanho País
0 Sara "27" 1,77 "Bélgica"
1 Lis "30" 1,70 "EUA"
2 Hadrien 1,80 "FR"
Entendendo a ciência de dados

Homogeneidade, novamente

Antes

$$

ID Nome Idade Tamanho País
0 Sara "27" 1,77 "Bélgica"
1 Lis "30" 1,70 "EUA"
2 Hadrien 1,80 "FR"

bandeira-belga

Entendendo a ciência de dados

Homogeneidade, novamente | saída

Antes

$$

ID Nome Idade Tamanho País
0 Sara "27" 1,77 "Bélgica"
1 Lis "30" 1,70 "EUA"
2 Hadrien 1,80 "FR"

Depois

$$

ID Nome Idade Tamanho País
0 Sara "27" 1,77 "BE"
1 Lis "30" 1,70 "EUA"
2 Hadrien 1,80 "FR"
Entendendo a ciência de dados

Tipos de dados

Antes

$$

ID Nome Idade Tamanho País
0 Sara "27" 1,77 "BE"
1 Lis "30" 1,70 "EUA"
2 Hadrien 1,80 "FR"

diferentes-tipos-de-massa

Entendendo a ciência de dados

Tipos de dado | saída

Antes

$$

ID Nome Idade Tamanho País
0 Sara "27" 1,77 "BE"
1 Lis "30" 1,70 "EUA"
2 Hadrien 1,80 "FR"

Depois

$$

ID Nome Idade Tamanho País
0 Sara 27 1,77 "BE"
1 Lis 30 1,70 "EUA"
2 Hadrien 1,80 "FR"
Entendendo a ciência de dados

Valores faltantes

Antes

$$

ID Nome Idade Tamanho País
0 Sara 27 1,77 "BE"
1 Lis 30 1,70 "EUA"
2 Hadrien 1,80 "FR"

Razões:

  • entrada de dados
  • erro
  • valor ausente válido

Soluções:

  • atribuir
  • descartar
  • manter
Entendendo a ciência de dados

Valores faltantes | saída

Antes

$$

ID Nome Idade Tamanho País
0 Sara 27 1,77 "BE"
1 Lis 30 1.70 "USA"
2 Hadrien 1,80 "FR"

Depois

$$

ID Nome Idade Tamanho País
0 Sara 27 1,77 "BE"
1 Lis 30 1,70 "EUA"
2 Hadrien 28 1,80 "FR"
Entendendo a ciência de dados

Vamos praticar!

Entendendo a ciência de dados

Preparing Video For Download...