Kelime torbası (Bag-of-words)

Python ile Duygu Analizi

Violeta Misheva

Data Scientist

Bag-of-words (BOW) nedir?

 

  • Bir belge veya belge koleksiyonunda (korpus) kelimelerin görülmesini açıklar

  • Kelime dağarcığı ve varlık ölçüsü oluşturur

Python ile Duygu Analizi

Amazon ürün incelemeleri

Amazon ürün incelemeleri veri setinin ilk 10 satırı

Python ile Duygu Analizi

BOW ile duygu analizi: Örnek

Bu şimdiye kadarki en iyi kitap. Kitabı çok sevdim ve şiddetle tavsiye ederim!!!

{'This': 1, 'is': 1, 'the': 2 , 'best': 1 , 'book': 2, 
'ever': 1, 'I':1 , 'loved':1 , 'and': 1  , 'highly': 1,
'recommend': 1 , 'it': 1 }
  • Sözcük sırası ve dilbilgisi kaybolur!
Python ile Duygu Analizi

BOW nihai sonuç

  • Çıktı aşağıdakine benzer olacaktır:

Bir BOW yaklaşımının çıktısını gösteren veri setinin ilk 5 satırı

Python ile Duygu Analizi

CountVectorizer işlevi

import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer

vect = CountVectorizer(max_features=1000) 
vect.fit(data.review)
X = vect.transform(data.review)
Python ile Duygu Analizi

CountVectorizer çıktısı

X

<10000x1000 sparse matrix of type '<class 'numpy.int64'>' 
  with 406668 stored elements in Compressed Sparse Row format>
Python ile Duygu Analizi

Vektörleştiriciyi dönüştürme

# Diziye dönüştür
my_array = X.toarray()

# Yeniden DataFrame'e dönüştür, sütun adlarını ata
X_df = pd.DataFrame(my_array, columns=vect.get_feature_names())
Python ile Duygu Analizi

Hadi pratik yapalım!

Python ile Duygu Analizi

Preparing Video For Download...