RegEx в spaCy

Обработка естественного языка с помощью spaCy

Azadeh Mobasher

Principal Data Scientist

Что такое RegEx?

Извлечение информации на основе правил полезно для многих задач NLP
Регулярные выражения (RegEx) применяются для сложного поиска по шаблонам
RegEx находит и извлекает шаблоны или заменяет совпадения

RegEx: извлечение ссылок и номеров телефонов

Сильные и слабые стороны RegEx

Преимущества:

Позволяет создавать надёжные правила извлечения информации
Помогает находить разнообразные варианты написания строк
Работает быстро
Поддерживается языками программирования

Недостатки:

Синтаксис сложен для начинающих
Требует знания всех возможных вариантов написания шаблона в текстах

RegEx в Python

В Python встроена библиотека для работы с RegEx — re.
Первый шаг при использовании пакета re — задать pattern.
Полученный шаблон используется для поиска совпадений.

import re

pattern = r"((\d){3}-(\d){3}-(\d){4})"
text = "Our phone number is 832-123-5555 and their phone number is 425-123-4567."

RegEx в Python

Используем метод .finditer() из пакета re

iter_matches = re.finditer(pattern, text)

for match in iter_matches:
    start_char = match.start()
    end_char = match.end()

    print ("Start character: ", start_char, "| End character: ", end_char, 
           "| Matching text: ", text[start_char:end_char])

>>> Start character:  20 | End character:  32 | Matching text:  832-123-5555
Start character:  59 | End character:  71 | Matching text:  425-123-4567

RegEx в spaCy

RegEx в трёх компонентах конвейера: Matcher, PhraseMatcher и EntityRuler.

text = "Our phone number is 832-123-5555 and their phone number is 425-123-4567."

nlp = spacy.blank("en")
patterns = [{"label": "PHONE_NUMBER", "pattern": [{"SHAPE": "ddd"},
            {"ORTH": "-"}, {"SHAPE": "ddd"},
            {"ORTH": "-"}, {"SHAPE": "dddd"}]}]

ruler = nlp.add_pipe("entity_ruler")
ruler.add_patterns(patterns)
doc = nlp(text)
print ([(ent.text, ent.label_) for ent in doc.ents])

>>> [('832-123-5555', 'PHONE_NUMBER'), ('425-123-4567', 'PHONE_NUMBER')]

Давайте потренируемся!

Обработка естественного языка с помощью spaCy