Validation par motif

Nettoyer des données en Java

Dennis Lee

Software Engineer

Pourquoi valider par motif

Les données doivent respecter des formats précis pour être fiables
Exemple : les dates devraient suivre un format uniforme comme d-MMM-yy
Problème : formats de date incohérents comme « 24/02/22 »
Solution : utiliser la validation par motif pour repérer les formats incohérents

// Nous avons extrait ces dates de notre ensemble de données
List<String> dates = Arrays.asList("4-Jan-22", "1-Aug-22", "7-Jul-22", 
                                   "27-Apr-22", "24/02/22");

Trois types de validation par motif

Correspondance complète du motif
- À utiliser quand le format doit être exact
- Exemple : valider des dates au format d-MMM-yy
Recherche de motif
- À utiliser quand la position exacte importe peu
- Exemple : repérer ou vérifier des catégories de produits dans des descriptions
- Produits avec « Dark Chocolate » : « 85% Dark Chocolate Bar », « Dark Chocolate with Nuts »
Correspondance de caractères
- À utiliser pour un dépistage rapide des données
- Exemple : vérifier si un champ quantité contient des lettres (« 12.5x »)

Définir des motifs avec des expressions régulières

Faire correspondre le motif de date d-MMM-yy (p. ex. « 4-Jan-22 »)
Expression régulière : \\d{1,2}-[A-Za-z]{3}-\\d{2}

\\d{1,2}     // 1 à 2 chiffres pour le jour (p. ex. 4 ou 27)
-            // tiret littéral comme séparateur

[A-Za-z]{3}  // exactement 3 lettres pour le mois, comme Jan; majuscules ou minuscules
-            // tiret littéral comme séparateur

\\d{2}       // exactement 2 chiffres pour l'année (p. ex. 22)

Correspondance complète du motif

import java.util.regex.Pattern;

// Correspond à d-MMM-yy
Pattern datePattern = Pattern.compile("\\d{1,2}-[A-Za-z]{3}-\\d{2}");


for (String date : dates) {
    // Vérifie si la date correspond à datePattern
    boolean isValid = datePattern.matcher(date).matches();
    System.out.println(date + " is valid: " + isValid);
}

Correspondance complète : résultats

4-Jan-22 is valid: true
1-Aug-22 is valid: true
7-Jul-22 is valid: true
27-Apr-22 is valid: true
24/02/22 is valid: false

Recherche de motif

import java.util.regex.Matcher;

Pattern monthPattern = Pattern.compile("[A-Za-z]{3}"); // 3 lettres comme « Jan »

for (String date : dates) {
    Matcher matcher = monthPattern.matcher(date);  // monthPattern est-il dans date ?

    if (matcher.find()) { // Retourne true si le motif est trouvé

        // matcher.group() retourne le contenu correspondant
        System.out.println("Month found: " + matcher.group());
    } else {
        System.out.println("No month found in: " + date);
    }
}

Recherche de motif : résultats

Month found: Jan
Month found: Aug
Month found: Jul
Month found: Apr
No month found in: 24/02/22

Correspondance de caractères

import com.google.common.base.CharMatcher;

for (String date : dates) {
    boolean isValid =
            // Vérifier la présence de chiffres dans date
            CharMatcher.inRange('0', '9').matchesAnyOf(date) &&

             // Vérifier la présence de lettres (majuscules et minuscules) dans date
            CharMatcher.inRange('a', 'z')
                    .or(CharMatcher.inRange('A', 'Z')).matchesAnyOf(date) &&

            CharMatcher.is('-').matchesAnyOf(date); // Vérifier la présence de tirets dans date
    System.out.println(date + " has valid characters: " + isValid);
}

Correspondance de caractères : résultats

4-Jan-22 has valid characters: true
1-Aug-22 has valid characters: true
7-Jul-22 has valid characters: true
27-Apr-22 has valid characters: true
24/02/22 has valid characters: false

Tout rassembler

// Définir le motif d-MMM-yy, comme 4-Jan-22
Pattern datePattern = Pattern.compile("\\d{1,2}-[A-Za-z]{3}-\\d{2}");

// Correspondance complète (la date correspond-elle à datePattern ?)
boolean matchesPattern = datePattern.matcher(date).matches();

// Recherche de motif (la date contient-elle un sous-texte de mois ?)
boolean hasMonth = Pattern.compile("[A-Za-z]{3}").matcher(date).find();

// Correspondance de caractères (la date contient-elle des chiffres ?)
boolean hasDigits = CharMatcher.digit().matchesAnyOf(date);

Passons à la pratique !

Nettoyer des données en Java