パターン検証

Java によるデータクリーニング

Dennis Lee

Software Engineer

パターン検証が必要な理由

データの正確性には特定のフォーマットへの準拠が必要
例：日付は d-MMM-yy などの統一形式に従うべき
問題："24/02/22" のような形式の不統一
解決策：パターン検証で不整合な形式を検出

// We extracted these dates from our dataset
List<String> dates = Arrays.asList("4-Jan-22", "1-Aug-22", "7-Jul-22", 
                                   "27-Apr-22", "24/02/22");

パターン検証の3種類

完全パターンマッチング
- フォーマットが厳密に一致する必要がある場合に使用
- 例：d-MMM-yy 形式の日付検証
パターン検索
- 位置を問わずパターンを検出したい場合に使用
- 例：説明文中の商品カテゴリの検索
- "Dark Chocolate" を含む例："85% Dark Chocolate Bar"、"Dark Chocolate with Nuts"
文字マッチング
- データの簡易チェックに使用
- 例：数量フィールドに文字が含まれるか確認（"12.5x"）

正規表現によるパターン定義

日付パターン d-MMM-yy（例："4-Jan-22"）にマッチ
正規表現：\\d{1,2}-[A-Za-z]{3}-\\d{2}

\\d{1,2}     // 1-2 digits for day (like 4 or 27)
-            // literal hyphen separator

[A-Za-z]{3}  // exactly 3 letters for month like Jan; uppercase or lowercase
-            // literal hyphen separator

\\d{2}       // exactly 2 digits for year (like 22)

完全パターンマッチング

import java.util.regex.Pattern;

// Match d-MMM-yy
Pattern datePattern = Pattern.compile("\\d{1,2}-[A-Za-z]{3}-\\d{2}");


for (String date : dates) {
    // Check if date matches datePattern
    boolean isValid = datePattern.matcher(date).matches();
    System.out.println(date + " is valid: " + isValid);
}

完全パターンマッチング：出力結果

4-Jan-22 is valid: true
1-Aug-22 is valid: true
7-Jul-22 is valid: true
27-Apr-22 is valid: true
24/02/22 is valid: false

パターン検索

import java.util.regex.Matcher;

Pattern monthPattern = Pattern.compile("[A-Za-z]{3}"); // 3 letters like "Jan"

for (String date : dates) {
    Matcher matcher = monthPattern.matcher(date);  // Is monthPattern in date?

    if (matcher.find()) { // Returns true if the pattern is found

        // matcher.group() returns the matched content
        System.out.println("Month found: " + matcher.group());
    } else {
        System.out.println("No month found in: " + date);
    }
}

パターン検索：出力結果

Month found: Jan
Month found: Aug
Month found: Jul
Month found: Apr
No month found in: 24/02/22

文字マッチング

import com.google.common.base.CharMatcher;

for (String date : dates) {
    boolean isValid =
            // Check for digits in date
            CharMatcher.inRange('0', '9').matchesAnyOf(date) &&

             // Check for letters (uppercase and lowercase) in date
            CharMatcher.inRange('a', 'z')
                    .or(CharMatcher.inRange('A', 'Z')).matchesAnyOf(date) &&

            CharMatcher.is('-').matchesAnyOf(date); // Check for hyphens in date
    System.out.println(date + " has valid characters: " + isValid);
}

文字マッチング：出力結果

4-Jan-22 has valid characters: true
1-Aug-22 has valid characters: true
7-Jul-22 has valid characters: true
27-Apr-22 has valid characters: true
24/02/22 has valid characters: false

まとめ

// Define pattern d-MMM-yy, like 4-Jan-22
Pattern datePattern = Pattern.compile("\\d{1,2}-[A-Za-z]{3}-\\d{2}");

// Full pattern matching (does date match datePattern?)
boolean matchesPattern = datePattern.matcher(date).matches();

// Pattern finding (does date have a month substring?)
boolean hasMonth = Pattern.compile("[A-Za-z]{3}").matcher(date).find();

// Character matching (does date have digits?)
boolean hasDigits = CharMatcher.digit().matchesAnyOf(date);

演習に挑戦しましょう！

Java によるデータクリーニング