Prezentare generală a clasificării textului

Deep Learning pentru text cu PyTorch

Shubham Jain

Instructor

Definiția clasificării textului

  • Atribuirea de etichete textului
  • Conferirea unui sens cuvintelor și propozițiilor

 

 

Tipuri de clasificare în învățarea automată

  • Organizează și structurează datele nestructurate

  • Aplicații:

    • Analiza sentimentului clienților în recenzii
    • Detectarea spam-ului în e-mailuri
    • Etichetarea articolelor de știri cu subiecte relevante

  • Tipuri: binară, multi-clasă, multi-etichetă

Deep Learning pentru text cu PyTorch

Clasificare binară

  • Clasificare în două categorii
  • Exemplu: detectarea spam-ului în e-mailuri
  • E-mailurile pot fi clasificate ca 'spam' sau 'non-spam'

Clasificare binară

1 https://storage.googleapis.com/gweb-cloudblog-publish/images/image4_v2LFcq0.max-1200x1200.png
Deep Learning pentru text cu PyTorch

Clasificare multi-clasă

Clasificarea știrilor

  • Clasificare în mai multe categorii
  • Exemplu: Articolele de știri pot fi sortate în categorii precum
    1. Politică
    2. Sport
    3. Tehnologie
Deep Learning pentru text cu PyTorch

Clasificare multi-etichetă

  • Fiecărui text i se pot atribui mai multe etichete
  • Exemplu: Cărțile pot aparține mai multor genuri
    • Acțiune
    • Aventură
    • Fantasy
Deep Learning pentru text cu PyTorch

Ce sunt reprezentările vectoriale

Fluxul reprezentărilor vectoriale

Exemplu de reprezentare vectorială

  • Tehnicile anterioare de codificare sunt un prim pas bun
    • Creează adesea prea multe caracteristici și nu identifică cuvinte similare
  • Reprezentările vectoriale mapează cuvinte la vectori numerici
  • Exemplu de relație semantică:
    • Rege și regină
    • Bărbat și femeie
Deep Learning pentru text cu PyTorch

Maparea cuvintelor la indecși

  • Exemplu:
    • "King" -> 1
    • "Queen" -> 2
  • Compact și eficient computațional
  • Urmează tokenizarea în flux
Deep Learning pentru text cu PyTorch

Reprezentări vectoriale în PyTorch

  • torch.nn.Embedding:
    • Creează vectori de cuvinte din indecși

 

  • Intrare: Indecși pentru ['The', 'cat', 'sat', 'on', 'the', 'mat']
Embedding for 'the': tensor([-0.4689,  0.3164, -0.2971, -0.1291,  0.4064])
Embedding for 'cat': tensor([-0.0978, -0.4764,  0.0476,  0.1044, -0.3976])
Embedding for 'sat': tensor([ 0.2731,  0.4431,  0.1275,  0.1434, -0.4721])
Deep Learning pentru text cu PyTorch

Utilizarea torch.nn.Embedding

import torch
from torch import nn

words = ["The", "cat", "sat", "on", "the", "mat"]
word_to_idx = {word: i for i, word in enumerate(words)}

inputs = torch.LongTensor([word_to_idx[w] for w in words])

embedding = nn.Embedding(num_embeddings=len(words), embedding_dim=10)

output = embedding(inputs)

print(output)

tensor([[ 1.0624,  0.6792,  0.0459,  ... -1.0828, -0.4475,  0.4868],
         ...
         [1.5766,  0.0106,  0.1161,  ...,,  -0.0859, 1.3160,  1.3621])
Deep Learning pentru text cu PyTorch

Utilizarea reprezentărilor vectoriale în flux

def preprocess_sentences(text):
  # Tokenization
  # Stemming
  ...

  # Word to index mapping

class TextDataset(Dataset):
    def __init__(self, encoded_sentences):
        self.data = encoded_sentences

    def __len__(self):
        return len(self.data)

    def __getitem__(self, index):
        return self.data[index]

def text_processing_pipeline(text):
    tokens = preprocess_sentences(text)
    dataset = TextDataset(tokens)
    dataloader = DataLoader(dataset, batch_size=2, 
                            shuffle=True)
    return dataloader, vectorizer


text = "Your sample text here."
dataloader, vectorizer = text_processing_pipeline(text)

embedding = nn.Embedding(num_embeddings=10,
                         embedding_dim=50) 

for batch in dataloader:
    output = embedding(batch)
    print(output)
Deep Learning pentru text cu PyTorch

Să exersăm!

Deep Learning pentru text cu PyTorch

Preparing Video For Download...