Giới thiệu về xử lý ngôn ngữ tự nhiên

Natural Language Processing (NLP) bằng Python

Fouad Trad

Machine Learning Engineer

Gặp gỡ giảng viên...

 

Ảnh giảng viên.

 

Fouad Trad

  • Kỹ sư machine learning
  • Nhà nghiên cứu
  • NLP trong an ninh mạng và y tế
Natural Language Processing (NLP) bằng Python

NLP là gì?

 

 

  • Ngôn ngữ là cách giao tiếp chính của chúng ta
  • Máy tính không hiểu ngôn ngữ tự nhiên

Hình minh họa nơi có ngôn ngữ: sách, trang web, bài đăng mạng xã hội và email.

Natural Language Processing (NLP) bằng Python

NLP là gì?

Giúp máy tính phân tích ngôn ngữ con người

Hình một người nói với máy; NLP dịch để máy hiểu.

Natural Language Processing (NLP) bằng Python

Quy trình NLP

Bước 1 của quy trình: văn bản thô.

  • Văn bản thô: từ tweet đến đoạn sách
Natural Language Processing (NLP) bằng Python

Quy trình NLP

Bước 2 của quy trình: tiền xử lý

  • Văn bản thô: từ tweet đến đoạn sách
  • Tiền xử lý: làm sạch và loại bỏ thành phần không cần thiết
Natural Language Processing (NLP) bằng Python

Quy trình NLP

Bước 3 của quy trình: trích xuất đặc trưng.

  • Văn bản thô: từ tweet đến đoạn sách
  • Tiền xử lý: làm sạch và loại bỏ thành phần không cần thiết
  • Trích xuất đặc trưng: chuyển văn bản thành số
Natural Language Processing (NLP) bằng Python

Quy trình NLP

Bước 4 của quy trình: Mô hình hóa

  • Văn bản thô: từ tweet đến đoạn sách
  • Tiền xử lý: làm sạch và loại bỏ thành phần không cần thiết
  • Trích xuất đặc trưng: chuyển văn bản thành số
  • Mô hình: phân tích, dự đoán, phân loại, tạo nội dung mới
Natural Language Processing (NLP) bằng Python

Kế hoạch khóa học

Sơ đồ quy trình đầy đủ, ghi rằng Chương 1 sẽ trình bày tiền xử lý bằng NLTK

Natural Language Processing (NLP) bằng Python

Kế hoạch khóa học

Sơ đồ quy trình đầy đủ, ghi rằng Chương 2 sẽ trình bày trích xuất đặc trưng bằng scikit-learn và Gensim.

Natural Language Processing (NLP) bằng Python

Kế hoạch khóa học

Sơ đồ quy trình đầy đủ, ghi rằng Chương 3 và 4 sẽ trình bày pipeline ẩn ba bước: tiền xử lý, trích xuất đặc trưng và mô hình hóa bằng thư viện transformers.

Natural Language Processing (NLP) bằng Python

Tokenization

  • Chia văn bản thành token (đơn vị nhỏ, dễ xử lý)

Hình ảnh một người đang thái cà rốt

Natural Language Processing (NLP) bằng Python

Tách câu (sentence tokenization)

  • Văn bản → câu
  • Hiểu rõ hơn so với phân tích toàn bộ văn bản
import nltk

nltk.download('punkt_tab')


text = "NLP is fun. Let's dive into it!"

sentences = nltk.sent_tokenize(text)

print(sentences)

["NLP is fun.", "Let's dive into it!"]

Biểu tượng đại diện dịch thuật.

Natural Language Processing (NLP) bằng Python

Tách từ (word tokenization)

  • Văn bản → từ và dấu câu
  • Hữu ích cho:
    • Xác định thuật ngữ chính
    • Đếm tần suất từ
text = "Claim your free prize now!"

words = nltk.word_tokenize(text)

print(words)

['Claim', 'your', 'free', 'prize', 'now', '!']

Biểu tượng email spam.

Natural Language Processing (NLP) bằng Python

Hãy thực hành!

Natural Language Processing (NLP) bằng Python

Preparing Video For Download...