使用 spaCy 的正则表达式

使用 spaCy 的自然语言处理

Azadeh Mobasher

Principal Data Scientist

什么是 RegEx？

基于规则的信息抽取（IR）适用于许多 NLP 任务
使用正则表达式（RegEx）进行复杂字符串匹配
RegEx 可查找、提取或替换匹配模式

RegEx：链接和电话信息抽取

RegEx 的优缺点

优点：

可编写稳健规则来抽取信息
能捕获多种字符串变体
运行速度快
多种编程语言支持

缺点：

语法对初学者有难度
需了解模式在文本中的各种表述方式

Python 中的 RegEx

Python 自带 RegEx 库 re。
使用 re 的第一步是定义 pattern。
然后用该模式查找匹配内容。

import re

pattern = r"((\d){3}-(\d){3}-(\d){4})"
text = "Our phone number is 832-123-5555 and their phone number is 425-123-4567."

Python 中的 RegEx

使用 re 的 .finditer() 方法

iter_matches = re.finditer(pattern, text)

for match in iter_matches:
    start_char = match.start()
    end_char = match.end()

    print ("Start character: ", start_char, "| End character: ", end_char, 
           "| Matching text: ", text[start_char:end_char])

>>> Start character:  20 | End character:  32 | Matching text:  832-123-5555
Start character:  59 | End character:  71 | Matching text:  425-123-4567

spaCy 中的 RegEx

在三个管道组件中使用 RegEx：Matcher、PhraseMatcher 和 EntityRuler。

text = "Our phone number is 832-123-5555 and their phone number is 425-123-4567."

nlp = spacy.blank("en")
patterns = [{"label": "PHONE_NUMBER", "pattern": [{"SHAPE": "ddd"},
            {"ORTH": "-"}, {"SHAPE": "ddd"},
            {"ORTH": "-"}, {"SHAPE": "dddd"}]}]

ruler = nlp.add_pipe("entity_ruler")
ruler.add_patterns(patterns)
doc = nlp(text)
print ([(ent.text, ent.label_) for ent in doc.ents])

>>> [('832-123-5555', 'PHONE_NUMBER'), ('425-123-4567', 'PHONE_NUMBER')]

Passons à la pratique !

使用 spaCy 的自然语言处理