Xử lý stop words và dấu câu

Natural Language Processing (NLP) bằng Python

Fouad Trad

Machine Learning Engineer

Stop words

Xuất hiện nhiều nhưng đóng góp ít cho máy hiểu ngữ cảnh
Ít giá trị trong nhiều tác vụ NLP
Loại bỏ giúp mô hình tập trung vào từ quan trọng

Hình ảnh hiển thị nhiều stop words như a, an, the, in, of, that, for, by, v.v.

Loại bỏ stop words

Hữu ích cho

Nắm bắt chủ đề của văn bản

Hình ảnh hiển thị đánh giá cho một sản phẩm trên ứng dụng di động

Loại bỏ stop words

Hữu ích cho

Nắm bắt chủ đề của văn bản

Hình ảnh hiển thị đánh giá cho một sản phẩm trên ứng dụng di động

Không hữu ích cho

Các tác vụ cần mọi từ trong văn bản

Hình ảnh văn bản được dịch từ tiếng Anh (Good morning) sang tiếng Pháp (Bonjour).

Truy cập stop words

NLTK cung cấp danh sách stop words cho nhiều ngôn ngữ

from nltk.corpus import stopwords
nltk.download('stopwords')


stop_words = stopwords.words('english')

print(stop_words[:10])

['a', 'about', 'above', 'after', 'again', 'against', 'ain', 'all', 'am', 'an']

Loại bỏ stop words

from nltk.tokenize import word_tokenize


text = "This is an example to demonstrate removing stop words."

tokens = word_tokenize(text)

# The .lower() method helps with case sensitivity
filtered_tokens = [word for word in tokens if word.lower() not in stop_words]

print(filtered_tokens)

['example', 'demonstrate', 'removing', 'stop', 'words', '.']

Dấu câu

Cấu trúc ngôn ngữ cho con người
Ít thông tin hữu ích trong nhiều tác vụ NLP

Hình ảnh hiển thị các dấu câu và ký tự đặc biệt.

Loại bỏ dấu câu

Hữu ích cho

Các tác vụ cần tìm từ chung hoặc từ quan trọng trong tài liệu

Hình ảnh hiển thị nhiều tệp và tài liệu cần xử lý.

Loại bỏ dấu câu

Hữu ích cho

Các tác vụ cần tìm từ chung hoặc từ quan trọng trong tài liệu

Hình ảnh hiển thị nhiều tệp và tài liệu cần xử lý.

Không hữu ích cho

Các tác vụ cần giữ cấu trúc câu để rõ ràng

Hình ảnh một chồng sách và một tài liệu tóm tắt được tạo ra từ đó.

Truy cập và loại bỏ dấu câu

import string
print(string.punctuation)

!"#$%&'()*+,-./:;<=>?@[\]^_`{|}~

text = "This is an example to demonstrate removing stop words."
tokens = word_tokenize(text)
filtered_tokens = [word for word in tokens if word.lower() not in stop_words]


clean_tokens = [word for word in filtered_tokens if word not in string.punctuation]

print(clean_tokens)

['example', 'demonstrate', 'removing', 'stop', 'words']

Ayo berlatih!

Natural Language Processing (NLP) bằng Python