Подведение итогов

Обработка естественного языка с помощью spaCy

Azadeh Mobasher

Principal data scientist

Глава 1 – Введение в NLP и spaCy

 

  • Используйте конвейеры обработки текста spaCy для извлечения лингвистических признаков:

 

Языковой конвейер spaCy

Обработка естественного языка с помощью spaCy

Глава 2 – Лингвистические аннотации и векторы слов в spaCy

  • Работайте с классами spaCy: Doc, Token и Span; предсказывайте семантическое сходство с помощью векторов слов:

Аналогии и операции с векторами

Обработка естественного языка с помощью spaCy

Глава 3 – Анализ данных с помощью spaCy

  • Создавайте шаблоны для извлечения терминов и фраз с помощью Matcher и PhraseMatcher из spaCy:

 

matcher = Matcher(nlp.vocab)
pattern = [{"LOWER": "good"}, {"LOWER": {"IN": ["morning", "evening"]}}]
matcher.add("morning_greeting", [pattern])

 

matcher = PhraseMatcher(nlp.vocab, attr = "LOWER")
patterns = [nlp.make_doc(term) for term in terms]
matcher.add("InvestmentTerms", patterns)
Обработка естественного языка с помощью spaCy

Глава 4 – Настройка моделей spaCy

 

  • Разметка и подготовка данных для обучения
  • Обучение моделей spaCy и их применение на этапе инференса

 

Пример NER в медицинской предметной области

Обработка естественного языка с помощью spaCy

Рекомендуемые ресурсы

 

Обработка естественного языка с помощью spaCy

Поздравляем!

Обработка естественного языка с помощью spaCy

Preparing Video For Download...