Nhận diện thực thể có tên

Khai thác đặc trưng cho NLP bằng Python

Rounak Banik

Data Scientist

Ứng dụng

  • Thuật toán tìm kiếm hiệu quả
  • Hỏi đáp
  • Phân loại bài báo
  • Dịch vụ khách hàng
Khai thác đặc trưng cho NLP bằng Python

Nhận diện thực thể có tên

  • Xác định và phân loại thực thể có tên vào các nhóm định sẵn.
  • Nhóm gồm người, tổ chức, quốc gia, v.v.
    "John Doe is a software engineer working at Google. He lives in France."
  • Thực thể có tên
  • John Doe → người
  • Google → tổ chức
  • France → quốc gia (thực thể địa chính trị)
Khai thác đặc trưng cho NLP bằng Python

NER với spaCy

import spacy
string = "John Doe is a software engineer working at Google. He lives in France."

# Load model and create Doc object
nlp = spacy.load('en_core_web_sm')
doc = nlp(string)


# Generate named entities
ne = [(ent.text, ent.label_) for ent in doc.ents]
print(ne)

[('John Doe', 'PERSON'), ('Google', 'ORG'), ('France', 'GPE')]
Khai thác đặc trưng cho NLP bằng Python

Ghi chú NER trong spaCy

Tài liệu spaCy về ghi chú NER

Khai thác đặc trưng cho NLP bằng Python

Lưu ý

  • Không hoàn hảo
  • Hiệu năng phụ thuộc dữ liệu huấn luyện/kiểm thử
  • Huấn luyện với dữ liệu chuyên biệt cho trường hợp tinh tế
  • Phụ thuộc ngôn ngữ
Khai thác đặc trưng cho NLP bằng Python

Hãy thực hành!

Khai thác đặc trưng cho NLP bằng Python

Preparing Video For Download...