Selamat!

Pembersihan Data di Java

Dennis Lee

Software Engineer

Perjalanan pembersihan data

// Dari menilai kualitas
DescriptiveStatistics stats = new DescriptiveStatistics(values);
System.out.println("Mean: " + stats.getMean());


// Hingga transformasi string
String clean = text.trim().toLowerCase();


// Hingga validasi rentang
boolean isValid = Range.between(0, 100).contains(value);


// Hingga membersihkan tabel
Table cleaned = data.where(sales.isGreaterThan(1000));

Menilai kualitas data

Data buruk menghasilkan keputusan buruk
Nilai kualitas data: cek outlier, nilai hilang, tipe salah

// Cek statistik
double mean = stats.getMean();


// Deteksi null
boolean isMissing = Optional.ofNullable(value).isEmpty();


// Verifikasi tipe
boolean isValidDate = LocalDate.parse(dateStr, formatter);

Transformasi data yang konsisten

Format tidak konsisten menghambat analisis akurat
Bersihkan string; standarkan kategori dan tanggal

// Normalisasi string (mis. hapus non-huruf)
String cleaned = dirtyName.replaceAll("[^a-zA-Z\\s]", "");


// Standarkan kategori
String standard = categoryMap.getOrDefault(value, "Other");


// Konversi tanggal
LocalDateTime datetime = LocalDateTime.parse(dateStr, formatter);

Memvalidasi integritas data

Hentikan data buruk sebelum masuk ke sistem
Periksa rentang dan format sesuai aturan bisnis

// Cek rentang
boolean inRange = Range.between(min, max).contains(value);


// Validasi pola
boolean matches = Pattern.matches(pattern, text);


// Tegakkan batasan
Set<ConstraintViolation<Data>> violations = validator.validate(data);

Membersihkan data tabular

for (String colName : data.columnNames()) {
    // Cek nilai hilang 
    System.out.println(data.column(colName).countMissing());
}


StringColumn cleaned = names.map(String::toLowerCase)   // Bersihkan teks
        .setName("Clean_Names");                        // Nama kolom baru


Table summary = data
        .where(sales.isGreaterThan(1000))               // Filter baris
        .summarize("Sales", mean)                       // Agregasi data
        .by("Category");                                // Kelompokkan hasil

Sumber daya

Artikel: Lembar Cheat Regular Expressions
Kursus: Optimizing Code in Java
Kursus: Introduction to Testing in Java

Siap membersihkan

Pembersihan Data di Java