Những điều cơ bản về Xử lý ngôn ngữ tự nhiên (NLP)

Xử lý ngôn ngữ tự nhiên với spaCy

Azadeh Mobasher

Principal Data Scientist

Xử lý ngôn ngữ tự nhiên (NLP)

NLP, một phân ngành của AI

Phân tích cảm xúc

Ví dụ phân tích cảm xúc

Nhận dạng thực thể có tên (NER)

Xác định và phân loại các thực thể được nhắc đến trong văn bản phi cấu trúc vào các nhóm định sẵn
Thực thể có tên là đối tượng trong thế giới thực như người hoặc địa điểm

Ví dụ NER

Chatbots

spaCy là thư viện miễn phí, mã nguồn mở cho NLP trong Python với khả năng:

spaCy và NLP

$ python3 pip install spacy

python3 -m spacy download en_core_web_sm
import spacy
nlp = spacy.load("en_core_web_sm")

Mô hình spaCy en_core_web_sm đã tải = đối tượng nlp
Đối tượng nlp chuyển văn bản thành đối tượng Doc (vùng chứa) để lưu văn bản đã xử lý

Xử lý văn bản với spaCy

import spacy
nlp = spacy.load("en_core_web_sm")
text = "A spaCy pipeline object is created."
doc = nlp(text)

Tách từ (Tokenization)
- Token là đơn vị nhỏ nhất mang nghĩa trong văn bản.
- Tokenization: Quá trình chia văn bản thành danh sách token có nghĩa

print([token.text for token in doc])

['A', 'spaCy', 'pipeline', 'object', 'is', 'created', '.']

Xử lý ngôn ngữ tự nhiên với spaCy