Kategorik standardizasyon

Java'da Veri Temizleme

Dennis Lee

Software Engineer

Neden kategorileri standardize ederiz?

Tutarsız kategori adları: veriler gruplanamaz
"Fruits & Vegetables" için farklı yazımlar
Çözüm: kategorileri standardize etmek

Ham Kategori	Miktar
Fruits & Vegetables	10
fruits & veg	20
Fruits&Veg	30

Standardizasyon adımları

Standart kategorileri tanımlayın

FRUITS_AND_VEGETABLES
DAIRY
UNCATEGORIZED

Varyasyonları standart kategorilere eşleyin

Fruits & Vegetables -> FRUITS_AND_VEGETABLES
fruits & veg -> FRUITS_AND_VEGETABLES
Fruits&Veg -> FRUITS_AND_VEGETABLES

Analiz yapın - ör. FRUITS_AND_VEGETABLES gibi kategorileri sayın

Enum ile standart kategorileri tanımlama

// Define standard categories
public enum ProductCategory {
    FRUITS_AND_VEGETABLES,
    DAIRY,
    UNCATEGORIZED;
}

// Example category
System.out.println(ProductCategory.FRUITS_AND_VEGETABLES);

FRUITS_AND_VEGETABLES

Ham kategorileri standartlara eşleme

import java.util.HashMap;
import java.util.Map;

// Define map of raw category variations to standard categories
Map<String, ProductCategory> rawCategories = new HashMap<>();
// Variation 1: Fruits & Vegetables
rawCategories.put("Fruits & Vegetables", ProductCategory.FRUITS_AND_VEGETABLES);
// Variation 2: fruits & veg
rawCategories.put("fruits & veg", ProductCategory.FRUITS_AND_VEGETABLES);
// Variation 3: Fruits&Veg
rawCategories.put("Fruits&Veg", ProductCategory.FRUITS_AND_VEGETABLES);

Varyasyonları standart kategorilere eşleme: çıktılar

System.out.println(rawCategories.get("fruits & veg")); // Get standard category

FRUITS_AND_VEGETABLES

rawCategories: yalnız görselleştirme için; sütunlar Map içindeki anahtar-değer çiftlerini gösterir

Ham Kategori	Standart Kategori
Fruits & Vegetables	FRUITS_AND_VEGETABLES
fruits & veg	FRUITS_AND_VEGETABLES
Fruits&Veg	FRUITS_AND_VEGETABLES

Bilinmeyen kategorileri ele alma

String unknownCategory = "Mystery Category";

// Return UNCATEGORIZED if category not found in rawCategories
ProductCategory category = rawCategories.getOrDefault(
        unknownCategory, ProductCategory.UNCATEGORIZED);

System.out.println("Unknown: " + category);

Mystery Category: UNCATEGORIZED

Ham Kategori	Standart Kategori
Mystery Category	UNCATEGORIZED

Eşlemeyi değiştirilemez yapmak

import java.util.Collections;

Map<String, ProductCategory> categories =
        Collections.unmodifiableMap(rawCategories); // Create immutable view


try {
    categories.put("new", ProductCategory.DAIRY); // Will throw exception
} catch (UnsupportedOperationException e) {
    System.out.println("Cannot modify immutable map");
}

Cannot modify immutable map

Veri setimizden kategorileri çıkarma

// Extract category and quantity from our grocery inventory dataset
Map<String, Integer> rawData = 
        Map.of("Fruits & Vegetables", 10, 
               "fruits & veg", 20,
               "Fruits&Veg", 30);

rawData: Bakkal envanteri veri setimizden çıkarılan eşleme

Ham Kategori	Miktar
Fruits & Vegetables	10
fruits & veg	20
Fruits&Veg	30

Standart kategori bulma

Map<ProductCategory, Integer> stockByCategory =
        new EnumMap<ProductCategory, Integer>(ProductCategory.class);

rawData.forEach((raw, quantity) -> 
        // Lookup standard category in categories and sum quantities
        stockByCategory.merge(categories.get(raw), quantity, Integer::sum));

categories: Standart kategori bulmak için kullanılan eşleme

Ham Kategori	Standart Kategori
Fruits & Vegetables	FRUITS_AND_VEGETABLES
fruits & veg	FRUITS_AND_VEGETABLES
Fruits&Veg	FRUITS_AND_VEGETABLES

Standart kategoriye göre toplama

System.out.println(stockByCategory);

{FRUITS_AND_VEGETABLES=60}

stockByCategory: rawData içine categoryMap ile bakıldıktan sonraki eşleme

Standart Kategori	Miktar
FRUITS_AND_VEGETABLES	60

Standart kategoriye göre gruplama: özet

1) Veri setinden kategori/miktar rawData eşlemesini çıkarın (aşağıda parça)

Ham Kategori	Miktar
Fruits & Vegetables	10

2) Standart kategorilere bakmak için categories oluşturun (aşağıda parça)

Ham Kategori	Standart Kategori
Fruits & Vegetables	FRUITS_AND_VEGETABLES

3) rawData içinden categories ile bakarak stockByCategory hesaplayın (aşağıda parça)

Standart Kategori	Miktar
FRUITS_AND_VEGETABLES	60

Hepsini bir araya getirme

Temel İçe Aktarımlar

import java.util.Map;
import java.util.HashMap;
import java.util.Collections;

Standart kategoriler için bir enum oluşturun
HashMap ile kategori eşlemesi kurun
Collections.unmodifiableMap ile eşlemeyi değiştirilemez yapın
Bilinmeyen kategorileri .getOrDefault() ile yönetin
.merge() ile standart kategorilere göre gruplayın

Hadi pratik yapalım!

Java'da Veri Temizleme