O que é limpeza e preparação de dados?

Preparação de Dados no Alteryx

Deanna Sanchez

Alteryx ACE and Owner, Nova Geographica LLC

Por que dados limpos importam?

GIGO: "Garbage In, Garbage Out"

• Limpar e preparar dados ajuda você a:
  • Evitar enganos e prevenir erros
  • Padronizar dados e formatos
  • Aumentar a produtividade
  • Acelerar os insights

Limpar seus dados é como...

Fazer revisão no carro - Otimizar o carro com peças limpas e fluidos novos melhora o desempenho.

 

Exemplos de dados sujos

• Dados ausentes ou incompletos

Exemplos de dados sujos

• Dados ausentes ou incompletos
• Dados não padronizados ou inconsistentes

Exemplos de dados sujos

• Dados ausentes ou incompletos
• Dados não padronizados ou inconsistentes
• Erros de digitação

Exemplos de dados sujos

• Dados ausentes ou incompletos
• Dados não padronizados ou inconsistentes
• Erros de digitação
• Espaços em branco no início/fim e caracteres ou pontuação desnecessários

Técnicas de limpeza de dados

Tratar dados ausentes

• Sinalize ausências imputando valores, como:
  • Converter null em vazio para strings
  • Imputar null como 0 para numéricos
• Filtrar ausências do fluxo de dados

Técnicas de limpeza de dados

Padronizar dados

• Garantir formatação
  • Adicionar $ a moeda
  • 000123456
• Verificar convenções de nomes de campos e arquivos
  • "filename_01012004.csv"
• Ajustar maiúsculas/minúsculas
  • LOCATION
• Modificar tipos de dados

Técnicas de limpeza de dados

Remover itens desnecessários

• Espaços no início/fim
• Tabulações e quebras de linha
• Linhas ou colunas inúteis
• Pontuação, letras e números desnecessários

Profile com cores

A coordenação de cores na janela Results e no Profile orienta o uso de técnicas de limpeza.

• Verde = OK

Profile com cores

A coordenação de cores na janela Results e no Profile orienta o uso de técnicas de limpeza.

• Verde = OK
• Branco = Único

Profile com cores

A coordenação de cores na janela Results e no Profile orienta o uso de técnicas de limpeza.

• Verde = OK
• Branco = Único
• Amarelo = Null

Profile com cores

A coordenação de cores na janela Results e no Profile orienta o uso de técnicas de limpeza.

• Verde = OK
• Branco = Único
• Amarelo = Null
• Vermelho = Não OK (ex.: espaço à direita)

Profile com cores

A coordenação de cores na janela Results e no Profile orienta o uso de técnicas de limpeza.

• Verde = OK
• Branco = Único
• Amarelo = Null
• Vermelho = Não OK (ex.: espaço à direita)
• Cinza = Vazio

Tipos de dados no Alteryx

• É importante conhecer os tipos de dados
  • Como e quando usar
• Cinco categorias principais
  • Boolean - formatos binários

Tipos de dados no Alteryx

• É importante conhecer os tipos de dados
  • Como e quando usar
• Cinco categorias principais
  • Boolean - formatos binários
  • Numeric - dados numéricos, inclui Double

Tipos de dados no Alteryx

• É importante conhecer os tipos de dados
  • Como e quando usar
• Cinco categorias principais
  • Boolean - formatos binários
  • Numeric - dados numéricos, inclui Double
  • String - texto

¹ String, que vai de String a V_W String.

Tipos de dados no Alteryx

• É importante conhecer os tipos de dados
  • Como e quando usar
• Cinco categorias principais
  • Boolean - formatos binários
  • Numeric - dados numéricos, inclui Double
  • String - texto
  • DateTime - datas e horários

Tipos de dados no Alteryx

• É importante conhecer os tipos de dados
  • Como e quando usar
• Cinco categorias principais
  • Boolean - formatos binários
  • Numeric - dados numéricos, inclui Double
  • String - texto
  • DateTime - datas e horários
  • Spatial - objetos e pontos espaciais

Detalhes do conjunto de dados

• Exercícios práticos no Alteryx:
  • Vendas de imóveis na cidade de Nova York
  • Um conjunto de dados para todos os exercícios
  • Analisando as maiores vendas

Vamos praticar!

Preparação de Dados no Alteryx