Standaryzacja kategorii

Czyszczenie danych w Javie

Dennis Lee

Software Engineer

Dlaczego standaryzować kategorie?

Niespójne nazwy kategorii: nie można grupować danych
Różne zapisy „Fruits & Vegetables"
Rozwiązanie: standaryzacja kategorii

Raw Category	Quantity
Fruits & Vegetables	10
fruits & veg	20
Fruits&Veg	30

Kroki standaryzacji

Zdefiniuj standardowe kategorie

FRUITS_AND_VEGETABLES
DAIRY
UNCATEGORIZED

Odwzoruj warianty na standardowe kategorie

Fruits & Vegetables -> FRUITS_AND_VEGETABLES
fruits & veg -> FRUITS_AND_VEGETABLES
Fruits&Veg -> FRUITS_AND_VEGETABLES

Przeprowadź analizę – np. zlicz kategorie takie jak FRUITS_AND_VEGETABLES

Definiowanie standardowych kategorii za pomocą enum

// Define standard categories
public enum ProductCategory {
    FRUITS_AND_VEGETABLES,
    DAIRY,
    UNCATEGORIZED;
}

// Example category
System.out.println(ProductCategory.FRUITS_AND_VEGETABLES);

FRUITS_AND_VEGETABLES

Mapowanie surowych kategorii na standardowe

import java.util.HashMap;
import java.util.Map;

// Define map of raw category variations to standard categories
Map<String, ProductCategory> rawCategories = new HashMap<>();
// Variation 1: Fruits & Vegetables
rawCategories.put("Fruits & Vegetables", ProductCategory.FRUITS_AND_VEGETABLES);
// Variation 2: fruits & veg
rawCategories.put("fruits & veg", ProductCategory.FRUITS_AND_VEGETABLES);
// Variation 3: Fruits&Veg
rawCategories.put("Fruits&Veg", ProductCategory.FRUITS_AND_VEGETABLES);

Mapowanie wariantów na standardowe kategorie: wyniki

System.out.println(rawCategories.get("fruits & veg")); // Get standard category

FRUITS_AND_VEGETABLES

rawCategories: tylko do wizualizacji; kolumny reprezentują pary klucz-wartość w Map

Raw Category	Standard Category
Fruits & Vegetables	FRUITS_AND_VEGETABLES
fruits & veg	FRUITS_AND_VEGETABLES
Fruits&Veg	FRUITS_AND_VEGETABLES

Obsługa nieznanych kategorii

String unknownCategory = "Mystery Category";

// Return UNCATEGORIZED if category not found in rawCategories
ProductCategory category = rawCategories.getOrDefault(
        unknownCategory, ProductCategory.UNCATEGORIZED);

System.out.println("Unknown: " + category);

Mystery Category: UNCATEGORIZED

Raw Category	Standard Category
Mystery Category	UNCATEGORIZED

Tworzenie niezmiennego mapowania

import java.util.Collections;

Map<String, ProductCategory> categories =
        Collections.unmodifiableMap(rawCategories); // Create immutable view


try {
    categories.put("new", ProductCategory.DAIRY); // Will throw exception
} catch (UnsupportedOperationException e) {
    System.out.println("Cannot modify immutable map");
}

Cannot modify immutable map

Wyodrębnianie kategorii ze zbioru danych

// Extract category and quantity from our grocery inventory dataset
Map<String, Integer> rawData = 
        Map.of("Fruits & Vegetables", 10, 
               "fruits & veg", 20,
               "Fruits&Veg", 30);

rawData: mapowanie wyodrębnione z naszego zbioru danych inwentarza spożywczego

Raw Category	Quantity
Fruits & Vegetables	10
fruits & veg	20
Fruits&Veg	30

Wyszukiwanie standardowej kategorii

Map<ProductCategory, Integer> stockByCategory =
        new EnumMap<ProductCategory, Integer>(ProductCategory.class);

rawData.forEach((raw, quantity) -> 
        // Lookup standard category in categories and sum quantities
        stockByCategory.merge(categories.get(raw), quantity, Integer::sum));

categories: mapowanie używane do wyszukiwania standardowej kategorii

Raw Category	Standard Category
Fruits & Vegetables	FRUITS_AND_VEGETABLES
fruits & veg	FRUITS_AND_VEGETABLES
Fruits&Veg	FRUITS_AND_VEGETABLES

Sumowanie według standardowej kategorii

System.out.println(stockByCategory);

{FRUITS_AND_VEGETABLES=60}

stockByCategory: mapowanie po wyszukaniu rawData w categoryMap

Standard Category	Quantity
FRUITS_AND_VEGETABLES	60

Grupowanie według standardowej kategorii: podsumowanie

1) Wyodrębnij mapę rawData kategoria/ilość ze zbioru danych (fragment poniżej)

Raw Category	Quantity
Fruits & Vegetables	10

2) Utwórz categories do wyszukiwania standardowych kategorii (fragment poniżej)

Raw Category	Standard Category
Fruits & Vegetables	FRUITS_AND_VEGETABLES

3) Oblicz stockByCategory, wyszukując rawData w categories (fragment poniżej)

Standard Category	Quantity
FRUITS_AND_VEGETABLES	60

Podsumowanie całości

Kluczowe importy

import java.util.Map;
import java.util.HashMap;
import java.util.Collections;

Utwórz enum dla standardowych kategorii
Zbuduj mapowanie kategorii za pomocą HashMap
Uczyń mapowanie niezmiennym za pomocą Collections.unmodifiableMap
Obsłuż nieznane kategorie za pomocą .getOrDefault()
Grupuj według standardowych kategorii za pomocą .merge()

Czas na ćwiczenia!

Czyszczenie danych w Javie