Shrnutí

Zpracování přirozeného jazyka s knihovnou spaCy

Azadeh Mobasher

Principal data scientist

Kapitola 1 – Úvod do NLP a spaCy

Pipeline jazyka spaCy

Práce s třídami spaCy (Doc, Token, Span) a predikce sémantické podobnosti pomocí slovních vektorů:

Analogie a vektorové operace

Tvorba vzorů pro extrakci termínů a frází pomocí Matcher a PhraseMatcher v spaCy:

matcher = Matcher(nlp.vocab)
pattern = [{"LOWER": "good"}, {"LOWER": {"IN": ["morning", "evening"]}}]
matcher.add("morning_greeting", [pattern])

matcher = PhraseMatcher(nlp.vocab, attr = "LOWER")
patterns = [nlp.make_doc(term) for term in terms]
matcher.add("InvestmentTerms", patterns)

Příklad NER v lékařské doméně

Zpracování přirozeného jazyka s knihovnou spaCy