Tổng quan về phân loại văn bản

Deep Learning cho Văn bản với PyTorch

Shubham Jain

Instructor

Định nghĩa phân loại văn bản

Gán nhãn cho văn bản
Gán ý nghĩa cho từ và câu

Các loại phân loại trong Machine Learning

Tổ chức và cấu trúc hóa dữ liệu phi cấu trúc
Ứng dụng:
- Phân tích cảm xúc khách hàng trong đánh giá
- Phát hiện spam trong email
- Gắn thẻ chủ đề cho bài báo
Loại: nhị phân, đa lớp, đa nhãn

Phân loại nhị phân

Phân vào hai nhóm
Ví dụ: phát hiện email spam
Email được phân loại 'spam' hoặc 'không spam'

Phân loại nhị phân

¹ https://storage.googleapis.com/gweb-cloudblog-publish/images/image4_v2LFcq0.max-1200x1200.png

Phân loại đa lớp

Phân loại tin tức

Phân vào nhiều nhóm
Ví dụ: Bài báo có thể vào các mục như
1. Chính trị
2. Thể thao
3. Công nghệ

Phân loại đa nhãn

Mỗi văn bản có thể gán nhiều nhãn
Ví dụ: Sách có thể thuộc nhiều thể loại
- Hành động
- Phiêu lưu
- Giả tưởng

Word embedding là gì

Quy trình Word Embedding

Ví dụ Word Embedding

Các kỹ thuật mã hóa trước đó là bước khởi đầu tốt
- Thường tạo quá nhiều đặc trưng và không nhận ra từ tương tự
Word embedding ánh xạ từ thành vector số
Ví dụ quan hệ ngữ nghĩa:
- King và queen
- Man và woman

Ánh xạ từ sang chỉ mục

Ví dụ:
- "King" -> 1
- "Queen" -> 2
Gọn và hiệu quả tính toán
Theo sau bước tách từ trong pipeline

Word embedding trong PyTorch

torch.nn.Embedding:
- Tạo vector từ từ chỉ mục

Đầu vào: Chỉ mục cho ['The', 'cat', 'sat', 'on', 'the', 'mat']

Embedding for 'the': tensor([-0.4689,  0.3164, -0.2971, -0.1291,  0.4064])
Embedding for 'cat': tensor([-0.0978, -0.4764,  0.0476,  0.1044, -0.3976])
Embedding for 'sat': tensor([ 0.2731,  0.4431,  0.1275,  0.1434, -0.4721])

Dùng torch.nn.Embedding

import torch
from torch import nn

words = ["The", "cat", "sat", "on", "the", "mat"]
word_to_idx = {word: i for i, word in enumerate(words)}

inputs = torch.LongTensor([word_to_idx[w] for w in words])

embedding = nn.Embedding(num_embeddings=len(words), embedding_dim=10)

output = embedding(inputs)

print(output)

tensor([[ 1.0624,  0.6792,  0.0459,  ... -1.0828, -0.4475,  0.4868],
         ...
         [1.5766,  0.0106,  0.1161,  ...,,  -0.0859, 1.3160,  1.3621])

Dùng embedding trong pipeline

def preprocess_sentences(text):
  # Tokenization
  # Stemming
  ...

  # Word to index mapping

class TextDataset(Dataset):
    def __init__(self, encoded_sentences):
        self.data = encoded_sentences

    def __len__(self):
        return len(self.data)

    def __getitem__(self, index):
        return self.data[index]

def text_processing_pipeline(text):
    tokens = preprocess_sentences(text)
    dataset = TextDataset(tokens)
    dataloader = DataLoader(dataset, batch_size=2, 
                            shuffle=True)
    return dataloader, vectorizer


text = "Your sample text here."
dataloader, vectorizer = text_processing_pipeline(text)

embedding = nn.Embedding(num_embeddings=10,
                         embedding_dim=50) 

for batch in dataloader:
    output = embedding(batch)
    print(output)

Vamos praticar!

Deep Learning cho Văn bản với PyTorch