Kategorische Standardisierung

Datenbereinigung in Java

Dennis Lee

Software Engineer

Warum Kategorien standardisieren?

  • Uneinheitliche Kategorienamen: keine Gruppierung möglich
  • Verschiedene Schreibweisen von "Fruits & Vegetables"
  • Lösung: Kategorien standardisieren

 

 

Rohe Kategorie Menge
Fruits & Vegetables 10
fruits & veg 20
Fruits&Veg 30
Datenbereinigung in Java

Schritte zur Standardisierung

  1. Standardkategorien definieren
    FRUITS_AND_VEGETABLES
DAIRY
UNCATEGORIZED
  2. Varianten Standardkategorien zuordnen
    Fruits & Vegetables -> FRUITS_AND_VEGETABLES
fruits & veg -> FRUITS_AND_VEGETABLES
Fruits&Veg -> FRUITS_AND_VEGETABLES
  3. Analyse durchführen – z. B. FRUITS_AND_VEGETABLES zählen
Datenbereinigung in Java

Standardkategorien mit enum definieren

// Define standard categories
public enum ProductCategory {
    FRUITS_AND_VEGETABLES,
    DAIRY,
    UNCATEGORIZED;
}

// Example category
System.out.println(ProductCategory.FRUITS_AND_VEGETABLES);

FRUITS_AND_VEGETABLES
Datenbereinigung in Java

Rohe Kategorien auf Standardkategorien abbilden

import java.util.HashMap;
import java.util.Map;

// Define map of raw category variations to standard categories
Map<String, ProductCategory> rawCategories = new HashMap<>();
// Variation 1: Fruits & Vegetables
rawCategories.put("Fruits & Vegetables", ProductCategory.FRUITS_AND_VEGETABLES);
// Variation 2: fruits & veg
rawCategories.put("fruits & veg", ProductCategory.FRUITS_AND_VEGETABLES);
// Variation 3: Fruits&Veg
rawCategories.put("Fruits&Veg", ProductCategory.FRUITS_AND_VEGETABLES);
Datenbereinigung in Java

Varianten auf Standardkategorien: Ausgabe

System.out.println(rawCategories.get("fruits & veg")); // Get standard category

FRUITS_AND_VEGETABLES

 

rawCategories: nur zur Veranschaulichung; Spalten stehen für Schlüssel-Wert-Paare in der Map

Rohe Kategorie Standardkategorie
Fruits & Vegetables FRUITS_AND_VEGETABLES
fruits & veg FRUITS_AND_VEGETABLES
Fruits&Veg FRUITS_AND_VEGETABLES
Datenbereinigung in Java

Umgang mit unbekannten Kategorien

String unknownCategory = "Mystery Category";

// Return UNCATEGORIZED if category not found in rawCategories
ProductCategory category = rawCategories.getOrDefault(
        unknownCategory, ProductCategory.UNCATEGORIZED);

System.out.println("Unknown: " + category);

Mystery Category: UNCATEGORIZED
Rohe Kategorie Standardkategorie
Mystery Category UNCATEGORIZED
Datenbereinigung in Java

Mapping unveränderlich machen

import java.util.Collections;

Map<String, ProductCategory> categories =
        Collections.unmodifiableMap(rawCategories); // Create immutable view


try {
    categories.put("new", ProductCategory.DAIRY); // Will throw exception
} catch (UnsupportedOperationException e) {
    System.out.println("Cannot modify immutable map");
}

Cannot modify immutable map
Datenbereinigung in Java

Kategorien aus dem Datensatz extrahieren

// Extract category and quantity from our grocery inventory dataset
Map<String, Integer> rawData = 
        Map.of("Fruits & Vegetables", 10, 
               "fruits & veg", 20,
               "Fruits&Veg", 30);

rawData: Mapping aus unserem Lebensmittel-Bestandsdatensatz

Rohe Kategorie Menge
Fruits & Vegetables 10
fruits & veg 20
Fruits&Veg 30
Datenbereinigung in Java

Standardkategorie nachschlagen

Map<ProductCategory, Integer> stockByCategory =
        new EnumMap<ProductCategory, Integer>(ProductCategory.class);

rawData.forEach((raw, quantity) -> 
        // Lookup standard category in categories and sum quantities
        stockByCategory.merge(categories.get(raw), quantity, Integer::sum));

categories: Mapping zum Nachschlagen der Standardkategorie

Rohe Kategorie Standardkategorie
Fruits & Vegetables FRUITS_AND_VEGETABLES
fruits & veg FRUITS_AND_VEGETABLES
Fruits&Veg FRUITS_AND_VEGETABLES
Datenbereinigung in Java

Über Standardkategorie summieren

System.out.println(stockByCategory);

{FRUITS_AND_VEGETABLES=60}

 

stockByCategory: Mapping nach Lookup von rawData in categoryMap

Standardkategorie Menge
FRUITS_AND_VEGETABLES 60
Datenbereinigung in Java

Nach Standardkategorie gruppieren: Zusammenfassung

1) rawData-Map Kategorie/Menge aus dem Datensatz extrahieren (Ausschnitt unten)

Rohe Kategorie Menge
Fruits & Vegetables 10

2) categories zum Nachschlagen von Standardkategorien erstellen (Ausschnitt unten)

Rohe Kategorie Standardkategorie
Fruits & Vegetables FRUITS_AND_VEGETABLES

3) stockByCategory berechnen, indem rawData in categories nachgeschlagen wird (Ausschnitt unten)

Standardkategorie Menge
FRUITS_AND_VEGETABLES 60
Datenbereinigung in Java

Alles zusammenführen

Wichtige Importe

import java.util.Map;
import java.util.HashMap;
import java.util.Collections;
  • enum für Standardkategorien erstellen
  • Kategoriemapping mit HashMap bauen
  • Mapping mit Collections.unmodifiableMap unveränderlich machen
  • Unbekannte Kategorien mit .getOrDefault() handhaben
  • Nach Standardkategorien mit .merge() gruppieren
Datenbereinigung in Java

Lass uns üben!

Datenbereinigung in Java

Preparing Video For Download...