Félicitations !

Nettoyer des données en Java

Dennis Lee

Software Engineer

Parcours du nettoyage des données

// Évaluer la qualité
DescriptiveStatistics stats = new DescriptiveStatistics(values);
System.out.println("Mean: " + stats.getMean());


// Transformer des chaînes
String clean = text.trim().toLowerCase();


// Valider des plages
boolean isValid = Range.between(0, 100).contains(value);


// Nettoyer des tableaux
Table cleaned = data.where(sales.isGreaterThan(1000));

Évaluer la qualité des données

De mauvaises données mènent à de mauvaises décisions
Évaluez la qualité : repérez valeurs aberrantes, valeurs manquantes, types erronés

// Vérifier les statistiques
double mean = stats.getMean();


// Détecter les valeurs nulles
boolean isMissing = Optional.ofNullable(value).isEmpty();


// Vérifier les types
boolean isValidDate = LocalDate.parse(dateStr, formatter);

Transformer les données de façon uniforme

Des formats incohérents faussent l'analyse
Nettoyez les chaînes ; normalisez catégories et dates

// Normaliser des chaînes (p. ex., retirer les non-lettres)
String cleaned = dirtyName.replaceAll("[^a-zA-Z\\s]", "");


// Normaliser des catégories
String standard = categoryMap.getOrDefault(value, "Other");


// Convertir des dates
LocalDateTime datetime = LocalDateTime.parse(dateStr, formatter);

Valider l'intégrité des données

Empêchez les mauvaises données d'entrer dans le système
Vérifiez plages et formats selon les règles d'affaires

// Vérifier les plages
boolean inRange = Range.between(min, max).contains(value);


// Valider les motifs
boolean matches = Pattern.matches(pattern, text);


// Imposer des contraintes
Set<ConstraintViolation<Data>> violations = validator.validate(data);

Nettoyer des données tabulaires

for (String colName : data.columnNames()) {
    // Vérifier les valeurs manquantes 
    System.out.println(data.column(colName).countMissing());
}


StringColumn cleaned = names.map(String::toLowerCase)   // Nettoyer le texte
        .setName("Clean_Names");                        // Nommer la nouvelle colonne


Table summary = data
        .where(sales.isGreaterThan(1000))               // Filtrer les lignes
        .summarize("Sales", mean)                       // Agréger les données
        .by("Category");                                // Regrouper les résultats

Ressources

Article : Regular Expressions Cheat Sheet
Cours : Optimizing Code in Java
Cours : Introduction to Testing in Java

Prêt pour le nettoyage

Nettoyer des données en Java