Översikt: textklassificering

Djupinlärning för text med PyTorch

Shubham Jain

Instructor

Vad är textklassificering?

Tilldelar etiketter till text
Ger ord och meningar betydelse

Typer av klassificering inom maskininlärning

Organiserar och strukturerar ostrukturerad data
Användningsområden:
- Sentimentanalys av kundrecensioner
- Skräppostfiltrering i e-post
- Taggning av nyhetsartiklar med ämnen
Typer: binär, multiklass, multilabel

Binär klassificering

Sorterar i två kategorier
Exempel: skräppostdetektering
E-post klassificeras som 'spam' eller 'inte spam'

Binär klassificering

¹ https://storage.googleapis.com/gweb-cloudblog-publish/images/image4_v2LFcq0.max-1200x1200.png

Multiklassklassificering

Nyhetsklassificering

Sorterar i flera kategorier
Exempel: nyhetsartiklar kan sorteras i kategorier som
1. Politik
2. Sport
3. Teknik

Multilabelklassificering

Varje text kan tilldelas flera etiketter
Exempel: böcker kan tillhöra flera genrer
- Action
- Äventyr
- Fantasy

Vad är ordinbäddningar?

Pipeline för ordinbäddning

Exempel på ordinbäddning

Tidigare kodningstekniker är ett bra första steg
- Skapar ofta för många särdrag och kan inte identifiera liknande ord
Ordinbäddningar avbildar ord som numeriska vektorer
Exempel på semantiska relationer:
- Kung och drottning
- Man och kvinna

Avbildning från ord till index

Exempel:
- "King" -> 1
- "Queen" -> 2
Kompakt och beräkningseffektivt
Följer tokenisering i pipelinen

Ordinbäddningar i PyTorch

torch.nn.Embedding:
- Skapar ordvektorer från index

Indata: index för ['The', 'cat', 'sat', 'on', 'the', 'mat']

Embedding for 'the': tensor([-0.4689,  0.3164, -0.2971, -0.1291,  0.4064])
Embedding for 'cat': tensor([-0.0978, -0.4764,  0.0476,  0.1044, -0.3976])
Embedding for 'sat': tensor([ 0.2731,  0.4431,  0.1275,  0.1434, -0.4721])

Använda torch.nn.Embedding

import torch
from torch import nn

words = ["The", "cat", "sat", "on", "the", "mat"]
word_to_idx = {word: i for i, word in enumerate(words)}

inputs = torch.LongTensor([word_to_idx[w] for w in words])

embedding = nn.Embedding(num_embeddings=len(words), embedding_dim=10)

output = embedding(inputs)

print(output)

tensor([[ 1.0624,  0.6792,  0.0459,  ... -1.0828, -0.4475,  0.4868],
         ...
         [1.5766,  0.0106,  0.1161,  ...,,  -0.0859, 1.3160,  1.3621])

Använda inbäddningar i pipelinen

def preprocess_sentences(text):
  # Tokenization
  # Stemming
  ...

  # Word to index mapping

class TextDataset(Dataset):
    def __init__(self, encoded_sentences):
        self.data = encoded_sentences

    def __len__(self):
        return len(self.data)

    def __getitem__(self, index):
        return self.data[index]

def text_processing_pipeline(text):
    tokens = preprocess_sentences(text)
    dataset = TextDataset(tokens)
    dataloader = DataLoader(dataset, batch_size=2, 
                            shuffle=True)
    return dataloader, vectorizer


text = "Your sample text here."
dataloader, vectorizer = text_processing_pipeline(text)

embedding = nn.Embedding(num_embeddings=10,
                         embedding_dim=50) 

for batch in dataloader:
    output = embedding(batch)
    print(output)

Nu kör vi en övning!

Djupinlärning för text med PyTorch