Félicitations !

Nettoyer des données en Java

Dennis Lee

Software Engineer

Parcours du nettoyage des données

// De l’évaluation de la qualité
DescriptiveStatistics stats = new DescriptiveStatistics(values);
System.out.println("Mean: " + stats.getMean());


// À la transformation de chaînes
String clean = text.trim().toLowerCase();


// À la validation des plages
boolean isValid = Range.between(0, 100).contains(value);


// Au nettoyage de tables
Table cleaned = data.where(sales.isGreaterThan(1000));

Évaluer la qualité des données

De mauvaises données mènent à de mauvaises décisions
Évaluer la qualité : détecter les valeurs aberrantes, les valeurs manquantes, les types erronés

// Vérifier les statistiques
double mean = stats.getMean();


// Détecter les null
boolean isMissing = Optional.ofNullable(value).isEmpty();


// Vérifier les types
boolean isValidDate = LocalDate.parse(dateStr, formatter);

Transformer les données de façon cohérente

Des formats incohérents faussent l’analyse
Nettoyer les chaînes ; standardiser catégories et dates

// Normaliser les chaînes (p. ex., retirer les non‑lettres)
String cleaned = dirtyName.replaceAll("[^a-zA-Z\\s]", "");


// Standardiser les catégories
String standard = categoryMap.getOrDefault(value, "Other");


// Convertir les dates
LocalDateTime datetime = LocalDateTime.parse(dateStr, formatter);

Valider l’intégrité des données

Stopper les mauvaises données à l’entrée
Vérifier plages et formats selon les règles métier

// Vérifier les plages
boolean inRange = Range.between(min, max).contains(value);


// Valider les motifs
boolean matches = Pattern.matches(pattern, text);


// Appliquer les contraintes
Set<ConstraintViolation<Data>> violations = validator.validate(data);

Nettoyer des données tabulaires

for (String colName : data.columnNames()) {
    // Compter les valeurs manquantes 
    System.out.println(data.column(colName).countMissing());
}


StringColumn cleaned = names.map(String::toLowerCase)   // Nettoyer le texte
        .setName("Clean_Names");                        // Nommer la nouvelle colonne


Table summary = data
        .where(sales.isGreaterThan(1000))               // Filtrer les lignes
        .summarize("Sales", mean)                       // Agréger les données
        .by("Category");                                // Regrouper les résultats

Ressources

Article : Aide-mémoire des expressions régulières
Cours : Optimiser son code en Java
Cours : Introduction aux tests en Java

Logo DataCamp

Prêt·e à nettoyer

Nettoyer des données en Java