spaCyでのRegEx

spaCyで学ぶNatural Language Processing

Azadeh Mobasher

Principal Data Scientist

RegExとは？

多くのNLPで役立つのがルールベース情報抽出（IR）
正規表現（RegEx）は複雑な文字列パターンに使用
RegExはパターンを検索し取得、または一致を置換

RegEx：リンクと電話の情報抽出

RegExの長所・短所

長所:

情報取得の堅牢なルールを作れる
文字列の多様な表記ゆれに対応可能
高速
多くの言語でサポート

短所:

構文が初心者には難しい
テキストでの表現揺れを把握する必要

PythonでのRegEx

Pythonには標準のRegExライブラリreがある
まずreでpattern（パターン）を定義
そのパターンで一致箇所を検索

import re

pattern = r"((\d){3}-(\d){3}-(\d){4})"
text = "Our phone number is 832-123-5555 and their phone number is 425-123-4567."

PythonでのRegEx

reの.finditer()メソッドを使用

iter_matches = re.finditer(pattern, text)

for match in iter_matches:
    start_char = match.start()
    end_char = match.end()

    print ("Start character: ", start_char, "| End character: ", end_char, 
           "| Matching text: ", text[start_char:end_char])

>>> Start character:  20 | End character:  32 | Matching text:  832-123-5555
Start character:  59 | End character:  71 | Matching text:  425-123-4567

spaCyでのRegEx

パイプライン3要素でのRegEx: Matcher、PhraseMatcher、EntityRuler

text = "Our phone number is 832-123-5555 and their phone number is 425-123-4567."

nlp = spacy.blank("en")
patterns = [{"label": "PHONE_NUMBER", "pattern": [{"SHAPE": "ddd"},
            {"ORTH": "-"}, {"SHAPE": "ddd"},
            {"ORTH": "-"}, {"SHAPE": "dddd"}]}]

ruler = nlp.add_pipe("entity_ruler")
ruler.add_patterns(patterns)
doc = nlp(text)
print ([(ent.text, ent.label_) for ent in doc.ents])

>>> [('832-123-5555', 'PHONE_NUMBER'), ('425-123-4567', 'PHONE_NUMBER')]

Passons à la pratique !

spaCyで学ぶNatural Language Processing