Gefeliciteerd!

Data opschonen in Java

Dennis Lee

Software Engineer

Reis door dataschoonmaak

// Van kwaliteitsbeoordeling
DescriptiveStatistics stats = new DescriptiveStatistics(values);
System.out.println("Mean: " + stats.getMean());


// Naar strings transformeren
String clean = text.trim().toLowerCase();


// Naar bereiken valideren
boolean isValid = Range.between(0, 100).contains(value);


// Naar tabellen schonen
Table cleaned = data.where(sales.isGreaterThan(1000));

Datakwaliteit beoordelen

Slechte data leidt tot slechte beslissingen
Beoordeel datakwaliteit: check uitschieters, missende waarden, verkeerde types

// Statistieken checken
double mean = stats.getMean();


// Nulls detecteren
boolean isMissing = Optional.ofNullable(value).isEmpty();


// Types verifiëren
boolean isValidDate = LocalDate.parse(dateStr, formatter);

Data consistent transformeren

Inconsistente formaten hinderen analyse
Maak strings schoon; standaardiseer categorieën en datums

// Strings normaliseren (bijv. niet-letters verwijderen)
String cleaned = dirtyName.replaceAll("[^a-zA-Z\\s]", "");


// Categorieën standaardiseren
String standard = categoryMap.getOrDefault(value, "Other");


// Datums omzetten
LocalDateTime datetime = LocalDateTime.parse(dateStr, formatter);

Dataintegriteit valideren

Stop slechte data vóór die ons systeem in komt
Check bereiken en formaten tegen bedrijfsregels

// Bereiken checken
boolean inRange = Range.between(min, max).contains(value);


// Patronen valideren
boolean matches = Pattern.matches(pattern, text);


// Constraints afdwingen
Set<ConstraintViolation<Data>> violations = validator.validate(data);

Tabeldata schoonmaken

for (String colName : data.columnNames()) {
    // Missende waarden checken 
    System.out.println(data.column(colName).countMissing());
}


StringColumn cleaned = names.map(String::toLowerCase)   // Tekst schoonmaken
        .setName("Clean_Names");                        // Nieuwe kolomnaam


Table summary = data
        .where(sales.isGreaterThan(1000))               // Rijen filteren
        .summarize("Sales", mean)                       // Data aggregeren
        .by("Category");                                // Resultaten groeperen

Resources

Artikel: Spiekbriefje reguliere expressies
Cursus: Code optimaliseren in Java
Cursus: Introductie tot testen in Java

Klaar om te schonen

Data opschonen in Java