TfIdf: Metni dönüştürmenin başka yolları

Python ile Duygu Analizi

Violeta Misheva

Data Scientist

TfIdf’in bileşenleri nelerdir?

  • TF: terim sıklığı: Belirli bir kelimenin derlemdeki bir belgede kaç kez geçtiği

  • Ters belge sıklığı (IDF): Toplam belge sayısı ile belirli bir kelimeyi içeren belge sayısının log-oranı

    • Seyrek görülen kelimelerin ağırlığını hesaplamak için kullanılır
Python ile Duygu Analizi

Bir kelimenin TfIdf skoru

  • TfIdf skoru: 
TfIdf = term frequency * inverse document frequency
  • BOW belge uzunluğunu dikkate almaz; TfIdf alır.
  • TfIdf, bir belgede yaygın ama belgeler arasında yaygın olmayan kelimeleri yakalar.
Python ile Duygu Analizi

TfIdf nasıl faydalıdır?

Twitter havayolu duygu analizi
  • Düşük TfIdf skorları: United, Virgin America
  • Yüksek TfIdf skorları: check-in süreci (belgeler arasında nadirse)
TfIdf hakkında daha fazlası
  • Sık kelimeleri cezalandırdığı için durak kelimeleriyle ayrıca uğraşma ihtiyacı azalır.
  • Arama sorguları ve bilgi erişimde, dönen sonuçların alakalılığını sıralamada faydalıdır.
Python ile Duygu Analizi

Python’da TfIdf

# Import the TfidfVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer
  • TfidfVectorizer argümanları: max_features, ngram_range, stop_words, token_pattern, max_df, min_df
vect = TfidfVectorizer(max_features=100).fit(tweets.text)
X = vect.transform(tweets.text)
Python ile Duygu Analizi

TfidfVectorizer

X
<14640x100 sparse matrix of type '<class 'numpy.float64'>'
    with 119182 stored elements in Compressed Sparse Row format>

X_df = pd.DataFrame(X_txt.toarray(), columns=vect.get_feature_names())
X_df.head()

TfIdf ile oluşturulan verilerin ilk 5 satırı

Python ile Duygu Analizi

Haydi pratik yapalım!

Python ile Duygu Analizi

Preparing Video For Download...