Glückwunsch!

Datenbereinigung in Java

Dennis Lee

Software Engineer

Reise durch die Datenbereinigung

// Von Qualitätsprüfung
DescriptiveStatistics stats = new DescriptiveStatistics(values);
System.out.println("Mean: " + stats.getMean());


// Zu String-Transformation
String clean = text.trim().toLowerCase();


// Zu Bereichsvalidierung
boolean isValid = Range.between(0, 100).contains(value);


// Zu Tabellenbereinigung
Table cleaned = data.where(sales.isGreaterThan(1000));

Datenqualität bewerten

Schlechte Daten führen zu schlechten Entscheidungen
Datenqualität prüfen: Ausreißer, fehlende Werte, falsche Typen

// Statistiken prüfen
double mean = stats.getMean();


// Nulls erkennen
boolean isMissing = Optional.ofNullable(value).isEmpty();


// Typen prüfen
boolean isValidDate = LocalDate.parse(dateStr, formatter);

Daten konsistent transformieren

Uneinheitliche Formate verfälschen Analysen
Strings bereinigen; Kategorien und Daten standardisieren

// Strings normalisieren (z. B. Nicht-Buchstaben entfernen)
String cleaned = dirtyName.replaceAll("[^a-zA-Z\\s]", "");


// Kategorien standardisieren
String standard = categoryMap.getOrDefault(value, "Other");


// Daten konvertieren
LocalDateTime datetime = LocalDateTime.parse(dateStr, formatter);

Datenintegrität validieren

Schlechte Daten schon beim Eingang stoppen
Wertebereiche und Formate gegen Geschäftsregeln prüfen

// Bereiche prüfen
boolean inRange = Range.between(min, max).contains(value);


// Muster validieren
boolean matches = Pattern.matches(pattern, text);


// Constraints erzwingen
Set<ConstraintViolation<Data>> violations = validator.validate(data);

Tabellendaten bereinigen

for (String colName : data.columnNames()) {
    // Fehlende Werte prüfen 
    System.out.println(data.column(colName).countMissing());
}


StringColumn cleaned = names.map(String::toLowerCase)   // Text bereinigen
        .setName("Clean_Names");                        // Neue Spalte benennen


Table summary = data
        .where(sales.isGreaterThan(1000))               // Zeilen filtern
        .summarize("Sales", mean)                       // Daten aggregieren
        .by("Category");                                // Ergebnisse gruppieren

Ressourcen

Bereit zum Bereinigen

Datenbereinigung in Java