Parabéns!

Limpeza de Dados em Java

Dennis Lee

Software Engineer

Jornada pela limpeza de dados

// De avaliar a qualidade
DescriptiveStatistics stats = new DescriptiveStatistics(values);
System.out.println("Mean: " + stats.getMean());


// A transformar strings
String clean = text.trim().toLowerCase();


// A validar intervalos
boolean isValid = Range.between(0, 100).contains(value);


// A limpar tabelas
Table cleaned = data.where(sales.isGreaterThan(1000));

Avaliando a qualidade dos dados

Dados ruins geram decisões ruins
Avalie a qualidade: outliers, ausentes, tipos errados

// Verificar estatísticas
double mean = stats.getMean();


// Detectar nulos
boolean isMissing = Optional.ofNullable(value).isEmpty();


// Verificar tipos
boolean isValidDate = LocalDate.parse(dateStr, formatter);

Transformando dados com consistência

Formatos inconsistentes atrapalham a análise
Limpe strings; padronize categorias e datas

// Normalizar strings (ex.: remover não letras)
String cleaned = dirtyName.replaceAll("[^a-zA-Z\\s]", "");


// Padronizar categorias
String standard = categoryMap.getOrDefault(value, "Other");


// Converter datas
LocalDateTime datetime = LocalDateTime.parse(dateStr, formatter);

Validando a integridade dos dados

Barre dados ruins antes de entrarem no sistema
Verifique intervalos e formatos conforme regras de negócio

// Verificar intervalos
boolean inRange = Range.between(min, max).contains(value);


// Validar padrões
boolean matches = Pattern.matches(pattern, text);


// Aplicar restrições
Set<ConstraintViolation<Data>> violations = validator.validate(data);

Limpando dados tabulares

for (String colName : data.columnNames()) {
    // Contar ausentes 
    System.out.println(data.column(colName).countMissing());
}


StringColumn cleaned = names.map(String::toLowerCase)   // Limpar texto
        .setName("Clean_Names");                        // Nome da nova coluna


Table summary = data
        .where(sales.isGreaterThan(1000))               // Filtrar linhas
        .summarize("Sales", mean)                       // Agregar dados
        .by("Category");                                // Agrupar resultados

Recursos

Artigo: Guia de Bolso de Expressões Regulares
Curso: Otimização de Código em Java
Curso: Introdução a Testes em Java

logotipo da DataCamp

Pronto para limpar

Limpeza de Dados em Java