Phân loại token

Natural Language Processing (NLP) bằng Python

Fouad Trad

Machine Learning Engineer

Phân loại văn bản so với token

Phân loại văn bản

Phân loại cả câu hoặc cặp văn bản

Hình minh họa các tác vụ phân loại văn bản và QNLI, đã trình bày trong video trước.

Phân loại văn bản so với token

Phân loại văn bản

Phân loại cả câu hoặc cặp văn bản

Hình minh họa các tác vụ phân loại văn bản và QNLI, đã trình bày trong video trước.

Phân loại token

Gán nhãn cho các token trong câu

Hình minh họa một câu được chia theo từ, mỗi từ có màu khác nhau, biểu thị một lớp khác nhau.

Nhận dạng thực thể có tên (NER)
Gán nhãn từ loại (PoS)

Nhận dạng thực thể có tên (NER)

Nhận diện thực thể như tên riêng, địa điểm, tổ chức, ngày tháng, v.v.

Hình minh họa phân tích NER cho câu "Apple opened a new office in Toronto in March 2023", trong đó Apple là tổ chức, Toronto là địa điểm, và March 2023 là ngày.

Hữu ích cho:
- Truy hồi thông tin
- Hỏi đáp

NER trong mã

from transformers import pipeline

ner_pipeline = pipeline(task="ner",

                        model="dslim/bert-base-NER",

                        grouped_entities=True)


ner_results = ner_pipeline("Zara Venn established NovaCore Dynamics in London.")

print(ner_results)

[{'entity_group': 'PER', 'score': np.float32(0.99840075), 'word': 'Zara Venn', 'start': 0, 'end': 9}, 
 {'entity_group': 'ORG', 'score': np.float32(0.99875560), 'word': 'NovaCore Dynamics', 'start': 21, 'end': 38}, 
 {'entity_group': 'LOC', 'score': np.float32(0.99960726), 'word': 'London', 'start': 42, 'end': 48}]

Gán nhãn từ loại (PoS)

Gán vai trò ngữ pháp (danh từ, động từ, tính từ) cho từng từ

Hình minh họa thẻ PoS cho câu "The quick fox jumps over the lazy dog", trong đó "the" là mạo từ, "quick" và "lazy" là tính từ, "fox" và "dogs" là danh từ, "jumps" là động từ, và "over" là giới từ.

Hữu ích cho:
- Phân tích cú pháp
- Sửa ngữ pháp
- Sinh văn bản

Gán nhãn PoS trong mã

pos_pipeline = pipeline(task="token-classification",

                        model="vblagoje/bert-english-uncased-finetuned-pos",

                        grouped_entities=True)


pos_results = pos_pipeline("Zara Venn established NovaCore Dynamics in London.")
print(pos_results)

[{'entity_group': 'PROPN', 'score': np.float32(0.9982983), 'word': 'zara venn', 'start': 0, 'end': 9},  
 {'entity_group': 'VERB', 'score': np.float32(0.99940944), 'word': 'established', 'start': 10, 'end': 21},  
 {'entity_group': 'PROPN', 'score': np.float32(0.99455726), 'word': 'novacore dynamics', 'start': 22, 'end': 39},  
 {'entity_group': 'ADP', 'score': np.float32(0.99935526), 'word': 'in', 'start': 40, 'end': 42},  
 {'entity_group': 'PROPN', 'score': np.float32(0.99847955), 'word': 'london', 'start': 43, 'end': 49}]

Ayo berlatih!

Natural Language Processing (NLP) bằng Python