Codificarea datelor text

Deep Learning pentru text cu PyTorch

Shubham Jain

Data Scientist

Codificarea textului

Pytorch Processing Pipeline

Conversia textului în valori numerice
Permite analiza și modelarea

Imagine date secvențiale pentru extragerea de informații

Tehnici de codificare

Codificare one-hot: transformă cuvintele în reprezentări numerice unice
Bag-of-Words (BoW): capturează frecvența cuvintelor, ignorând ordinea
TF-IDF: echilibrează unicitatea și importanța
Embedding: convertește cuvintele în vectori, capturând sensul semantic (Capitolul 2)

Codificare one-hot

Maparea fiecărui cuvânt la un vector distinct
Vector binar:
- 1 pentru prezența unui cuvânt
- 0 pentru absența unui cuvânt

['cat', 'dog', 'rabbit']
- 'cat' [1, 0, 0]
- 'dog' [0, 1, 0]
- 'rabbit' [0, 0, 1]

Codificare one-hot cu PyTorch

import torch
vocab = ['cat', 'dog', 'rabbit']

vocab_size = len(vocab)

one_hot_vectors = torch.eye(vocab_size)

one_hot_dict = {word: one_hot_vectors[i] for i, word in enumerate(vocab)}

print(one_hot_dict)

{'cat': tensor([1., 0., 0.]),
  'dog': tensor([0., 1., 0.]),
  'rabbit': tensor([0., 0., 1.])}

Bag-of-words

Exemplu: "The cat sat on the mat"
Bag-of-words:
- {'the': 2, 'cat': 1, 'sat': 1, 'on': 1, 'mat': 1}

Tratează fiecare document ca o colecție neordonată de cuvinte
Se concentrează pe frecvență, nu pe ordine

CountVectorizer

from sklearn.feature_extraction.text import CountVectorizer

vectorizer = CountVectorizer()

corpus = ['This is the first document.', 'This document is the second document.', 
'And this is the third one.', 'Is this the first document?']

X = vectorizer.fit_transform(corpus)

print(X.toarray())

print(vectorizer.get_feature_names_out())

[[0 1 1 1 0 0 1 0 1]
 [0 2 0 1 0 1 1 0 1]
 [1 0 0 1 1 0 1 1 1]
 [0 1 1 1 0 0 1 0 1]]

 ['and' 'document' 'first' 'is' 'one' 'second' 'the' 'third' 'this']

TF-IDF

Term Frequency-Inverse Document Frequency
- Evaluează importanța cuvintelor într-un document
- Cuvintele rare primesc un scor mai mare
- Cuvintele comune primesc un scor mai mic
- Evidențiază cuvintele informative

TfidfVectorizer

from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer()

corpus = ['This is the first document.','This document is the second document.',
'And this is the third one.','Is this the first document?']

X = vectorizer.fit_transform(corpus)

print(X.toarray())

print(vectorizer.get_feature_names_out())

[[0.         0.         0.68091856 0.51785612 0.51785612 0.        ]
 [0.         0.         0.          0.51785612 0.51785612 0.68091856]
 [0.85151335 0.42575668 0.         0.32274454 0.32274454 0.        ]
 [0.         0.         0.68091856 0.51785612 0.51785612 0.        ]]

['and' 'document' 'first' 'is' 'one' 'second']

TfidfVectorizer

Cod TFIDF

Tehnici de codificare

Tehnici: codificare one-hot, bag-of-words și TF-IDF

Permit modelelor să înțeleagă și să proceseze text
Alegeți o singură tehnică pentru a evita redundanța
Există și alte tehnici

Să exersăm!

Deep Learning pentru text cu PyTorch