Основы обработки естественного языка (NLP)

Обработка естественного языка с помощью spaCy

Azadeh Mobasher

Principal Data Scientist

Обработка естественного языка (NLP)

Подраздел искусственного интеллекта (ИИ)
Помогает компьютерам понимать человеческий язык
Позволяет извлекать знания из неструктурированных данных
Использует статистику, модели машинного обучения и модели глубокого обучения

NLP — подраздел ИИ

Анализ тональности

Примеры анализа тональности

Распознавание именованных сущностей (NER)

Поиск и классификация именованных сущностей в неструктурированном тексте по заранее заданным категориям
Именованные сущности — реальные объекты, такие как человек или место

Примеры NER

Чат-боты

spaCy — бесплатная библиотека с открытым исходным кодом для NLP на Python, которая:

Разработана для построения систем извлечения информации
Предоставляет готовый к использованию код для задач NLP
Поддерживает 64+ языка
Отличается надёжностью, быстродействием и наличием библиотек визуализации

spaCy и NLP

$ python3 pip install spacy

python3 -m spacy download en_core_web_sm
import spacy
nlp = spacy.load("en_core_web_sm")

Загруженная модель spaCy en_core_web_sm = объект nlp
Объект nlp преобразует текст в объект Doc (контейнер) для хранения обработанного текста

Обработка текста с помощью spaCy

import spacy
nlp = spacy.load("en_core_web_sm")
text = "A spaCy pipeline object is created."
doc = nlp(text)

Токенизация
- Token — наименьшая значимая единица текста.
- Токенизация: разбиение текста на список значимых токенов

print([token.text for token in doc])

['A', 'spaCy', 'pipeline', 'object', 'is', 'created', '.']

Обработка естественного языка с помощью spaCy