Основи Natural Language Processing (NLP)

Обробка природної мови (NLP) зі spaCy

Azadeh Mobasher

Principal Data Scientist

Natural Language Processing (NLP)

Підгалузь Artificial Intelligence (AI)
Допомагає комп'ютерам розуміти людську мову
Дозволяє видобувати інсайти з неструктурованих даних
Поєднує статистику, моделі машинного навчання та моделі глибокого навчання

NLP, підгалузь AI

Аналіз тональності

Використання комп'ютерів, щоб визначити прихильний або негативний настрій у тексті

Приклади аналізу тональності

Розпізнавання іменованих сутностей (NER)

Пошук і класифікація іменованих сутностей у неструктурованому тексті за наперед заданими категоріями
Іменовані сутності — це об'єкти реального світу, як-от особа чи локація

Приклади NER

Генерують відповіді, схожі на людські, на текстові запити, наприклад ChatGPT

Чатботи

spaCy — це безплатна, відкрита бібліотека для NLP у Python, яка:

spaCy та NLP

$ python3 pip install spacy

python3 -m spacy download en_core_web_sm
import spacy
nlp = spacy.load("en_core_web_sm")

Завантажена модель spaCy en_core_web_sm = об'єкт nlp
Об'єкт nlp перетворює текст на об'єкт Doc (контейнер) для збереження опрацьованого тексту

Опрацювання тексту в spaCy

import spacy
nlp = spacy.load("en_core_web_sm")
text = "A spaCy pipeline object is created."
doc = nlp(text)

Токенізація
- Token — найменша значуща частина тексту.
- Токенізація: поділ тексту на список значущих токенів

print([token.text for token in doc])

['A', 'spaCy', 'pipeline', 'object', 'is', 'created', '.']

Обробка природної мови (NLP) зі spaCy