Ověření vzorů

Cleaning Data in Java

Dennis Lee

Software Engineer

Proč potřebujeme ověření vzorů

Data musí dodržovat určité formáty, aby byla přesná
Příklad: data by měla mít konzistentní formát, např. d-MMM-yy
Problém: nekonzistentní formáty dat, jako "24/02/22"
Řešení: ověření vzorů k odhalení nekonzistentních formátů

// We extracted these dates from our dataset
List<String> dates = Arrays.asList("4-Jan-22", "1-Aug-22", "7-Jul-22", 
                                   "27-Apr-22", "24/02/22");

Tři typy ověření vzorů

Úplné porovnání vzoru
- Použijte, pokud musí být formát přesný
- Příklad: ověření dat ve formátu d-MMM-yy
Hledání vzoru
- Použijte, pokud nezáleží na přesné pozici
- Příklad: hledání kategorií produktů v popisech
- Produkty s „Dark Chocolate": "85% Dark Chocolate Bar", "Dark Chocolate with Nuts"
Porovnávání znaků
- Použijte pro rychlé prověření dat
- Příklad: kontrola, zda pole množství obsahuje písmena ("12.5x")

Definování vzorů pomocí regexu

Porovnání vzoru data d-MMM-yy (např. „4-Jan-22")
Regex: \\d{1,2}-[A-Za-z]{3}-\\d{2}

\\d{1,2}     // 1-2 digits for day (like 4 or 27)
-            // literal hyphen separator

[A-Za-z]{3}  // exactly 3 letters for month like Jan; uppercase or lowercase
-            // literal hyphen separator

\\d{2}       // exactly 2 digits for year (like 22)

Úplné porovnání vzoru

import java.util.regex.Pattern;

// Match d-MMM-yy
Pattern datePattern = Pattern.compile("\\d{1,2}-[A-Za-z]{3}-\\d{2}");


for (String date : dates) {
    // Check if date matches datePattern
    boolean isValid = datePattern.matcher(date).matches();
    System.out.println(date + " is valid: " + isValid);
}

Úplné porovnání vzoru: výstupy

4-Jan-22 is valid: true
1-Aug-22 is valid: true
7-Jul-22 is valid: true
27-Apr-22 is valid: true
24/02/22 is valid: false

Hledání vzoru

import java.util.regex.Matcher;

Pattern monthPattern = Pattern.compile("[A-Za-z]{3}"); // 3 letters like "Jan"

for (String date : dates) {
    Matcher matcher = monthPattern.matcher(date);  // Is monthPattern in date?

    if (matcher.find()) { // Returns true if the pattern is found

        // matcher.group() returns the matched content
        System.out.println("Month found: " + matcher.group());
    } else {
        System.out.println("No month found in: " + date);
    }
}

Hledání vzoru: výstupy

Month found: Jan
Month found: Aug
Month found: Jul
Month found: Apr
No month found in: 24/02/22

Porovnávání znaků

import com.google.common.base.CharMatcher;

for (String date : dates) {
    boolean isValid =
            // Check for digits in date
            CharMatcher.inRange('0', '9').matchesAnyOf(date) &&

             // Check for letters (uppercase and lowercase) in date
            CharMatcher.inRange('a', 'z')
                    .or(CharMatcher.inRange('A', 'Z')).matchesAnyOf(date) &&

            CharMatcher.is('-').matchesAnyOf(date); // Check for hyphens in date
    System.out.println(date + " has valid characters: " + isValid);
}

Porovnávání znaků: výstupy

4-Jan-22 has valid characters: true
1-Aug-22 has valid characters: true
7-Jul-22 has valid characters: true
27-Apr-22 has valid characters: true
24/02/22 has valid characters: false

Shrnutí

// Define pattern d-MMM-yy, like 4-Jan-22
Pattern datePattern = Pattern.compile("\\d{1,2}-[A-Za-z]{3}-\\d{2}");

// Full pattern matching (does date match datePattern?)
boolean matchesPattern = datePattern.matcher(date).matches();

// Pattern finding (does date have a month substring?)
boolean hasMonth = Pattern.compile("[A-Za-z]{3}").matcher(date).find();

// Character matching (does date have digits?)
boolean hasDigits = CharMatcher.digit().matchesAnyOf(date);

Pojďme si to procvičit!

Cleaning Data in Java