TfIdf: วิธีแปลงข้อความเพิ่มเติม

Sentiment Analysis ด้วย Python

Violeta Misheva

Data Scientist

องค์ประกอบของ TfIdf คืออะไร?

  • TF: ความถี่ของคำ: จำนวนครั้งที่คำหนึ่งปรากฏในเอกสารภายใน corpus

  • Inverse document frequency: อัตราส่วน log ระหว่างจำนวนเอกสารทั้งหมดกับจำนวนเอกสารที่มีคำนั้น

    • ใช้คำนวณน้ำหนักของคำที่ปรากฏไม่บ่อย
Sentiment Analysis ด้วย Python

คะแนน TfIdf ของคำ

  • คะแนน TfIdf: 
TfIdf = term frequency * inverse document frequency
  • BOW ไม่คำนึงถึงความยาวของเอกสาร แต่ TfIdf คำนึงถึง
  • TfIdf มักดึงคำที่พบบ่อยในเอกสารหนึ่ง แต่ไม่บ่อยในเอกสารอื่น
Sentiment Analysis ด้วย Python

TfIdf มีประโยชน์อย่างไร?

ความรู้สึกต่อสายการบินบน Twitter
  • คะแนน TfIdf ต่ำ: United, Virgin America
  • คะแนน TfIdf สูง: กระบวนการเช็กอิน (ถ้าพบน้อยในเอกสารอื่น)
เพิ่มเติมเกี่ยวกับ TfIdf
  • เนื่องจากลดคะแนนคำที่พบบ่อย จึงไม่จำเป็นต้องจัดการ stop words อย่างชัดเจน
  • มีประโยชน์มากในการค้นหาและดึงข้อมูลเพื่อจัดอันดับความเกี่ยวข้องของผลลัพธ์
Sentiment Analysis ด้วย Python

TfIdf ใน Python

# Import the TfidfVectorizer
from sklearn.feature_extraction.text import TfidfVectorizer
  • อาร์กิวเมนต์ของ TfidfVectorizer: max_features, ngram_range, stop_words, token_pattern, max_df, min_df
vect = TfidfVectorizer(max_features=100).fit(tweets.text)
X = vect.transform(tweets.text)
Sentiment Analysis ด้วย Python

TfidfVectorizer

X
<14640x100 sparse matrix of type '<class 'numpy.float64'>'
    with 119182 stored elements in Compressed Sparse Row format>

X_df = pd.DataFrame(X_txt.toarray(), columns=vect.get_feature_names())
X_df.head()

5 แถวแรกของข้อมูลที่สร้างด้วย TfIdf

Sentiment Analysis ด้วย Python

มาฝึกกันเถอะ!

Sentiment Analysis ด้วย Python

Preparing Video For Download...