Tebrikler!

Java'da Veri Temizleme

Dennis Lee

Software Engineer

Veri temizleme yolculuğu

// Kalite değerlendirmeden
DescriptiveStatistics stats = new DescriptiveStatistics(values);
System.out.println("Mean: " + stats.getMean());


// String dönüştürmeye
String clean = text.trim().toLowerCase();


// Aralık doğrulamaya
boolean isValid = Range.between(0, 100).contains(value);


// Tablo temizliğine
Table cleaned = data.where(sales.isGreaterThan(1000));

Veri kalitesini değerlendirme

Kötü veri, kötü kararlara yol açar
Veri kalitesini değerlendir: aykırı değerler, eksikler, yanlış türler

// İstatistikleri kontrol et
double mean = stats.getMean();


// Null'ları tespit et
boolean isMissing = Optional.ofNullable(value).isEmpty();


// Türleri doğrula
boolean isValidDate = LocalDate.parse(dateStr, formatter);

Veriyi tutarlı dönüştürme

Tutarsız biçimler doğru analizi engeller
Stringleri temizle; kategorileri ve tarihleri standartlaştır

// Stringleri normalle (örn. harf dışını kaldır)
String cleaned = dirtyName.replaceAll("[^a-zA-Z\\s]", "");


// Kategorileri standartlaştır
String standard = categoryMap.getOrDefault(value, "Other");


// Tarihleri dönüştür
LocalDateTime datetime = LocalDateTime.parse(dateStr, formatter);

Veri bütünlüğünü doğrulama

Kötü veriyi sisteme girmeden durdur
İş kurallarına göre aralıkları ve biçimleri kontrol et

// Aralıkları kontrol et
boolean inRange = Range.between(min, max).contains(value);


// Desenleri doğrula
boolean matches = Pattern.matches(pattern, text);


// Kısıtları uygula
Set<ConstraintViolation<Data>> violations = validator.validate(data);

Tablosal veriyi temizleme

for (String colName : data.columnNames()) {
    // Eksik değerleri kontrol et 
    System.out.println(data.column(colName).countMissing());
}


StringColumn cleaned = names.map(String::toLowerCase)   // Metni temizle
        .setName("Clean_Names");                        // Yeni sütunu adlandır


Table summary = data
        .where(sales.isGreaterThan(1000))               // Satırları filtrele
        .summarize("Sales", mean)                       // Veriyi özetle
        .by("Category");                                // Gruplandır

Kaynaklar

Temizliğe hazır

Java'da Veri Temizleme