बैग-ऑफ-वर्ड्स मॉडल बनाना

Python में NLP के लिए Feature Engineering

Rounak Banik

Data Scientist

ML एल्गोरिदम के लिए डेटा फ़ॉर्मेट का रिकैप

किसी भी ML एल्गोरिदम के लिए,

डेटा टैबुलर फ़ॉर्म में होना चाहिए
ट्रेनिंग फीचर्स न्यूमेरिकल होने चाहिए

बैग-ऑफ-वर्ड्स मॉडल

वर्ड टोकन निकालें
वर्ड टोकन की फ्रीक्वेंसी निकालें
इन फ्रीक्वेंसी और कॉर्पस की वोकैब्युलरी से वर्ड वेक्टर बनाएँ

बैग-ऑफ-वर्ड्स मॉडल उदाहरण

कॉर्पस

"The lion is the king of the jungle"

"Lions have lifespans of a decade"

"The lion is an endangered species"

बैग-ऑफ-वर्ड्स मॉडल उदाहरण

वोकैब्युलरी → a, an, decade, endangered, have, is, jungle, king, lifespans, lion, Lions, of, species, the, The

"The lion is the king of the jungle"

[0, 0, 0, 0, 0, 1, 1, 1, 0, 1, 0, 1, 0, 2, 1]

"Lions have lifespans of a decade"

[1, 0, 1, 0, 1, 0, 0, 0, 1, 0, 1, 1, 0, 0, 0]

"The lion is an endangered species"

[0, 1, 0, 1, 0, 1, 0, 0, 0, 1, 0, 0, 1, 0, 1]

टेक्स्ट प्रीप्रोसेसिंग

Lions, lion → lion
The, the → the
कोई पंक्चुएशन नहीं
कोई स्टॉपवर्ड नहीं
वोकैब्युलरी छोटी होती है
डाइमेंशनों को घटाने से परफॉर्मेंस बेहतर होती है

sklearn के साथ बैग-ऑफ-वर्ड्स मॉडल

corpus = pd.Series([
    'The lion is the king of the jungle',
    'Lions have lifespans of a decade',
    'The lion is an endangered species'
])

sklearn के साथ बैग-ऑफ-वर्ड्स मॉडल

# Import CountVectorizer
from sklearn.feature_extraction.text import CountVectorizer

# Create CountVectorizer object
vectorizer = CountVectorizer()

# Generate matrix of word vectors
bow_matrix = vectorizer.fit_transform(corpus)
print(bow_matrix.toarray())

array([[0, 0, 0, 0, 1, 1, 1, 0, 1, 0, 1, 0, 3],
       [0, 1, 0, 1, 0, 0, 0, 1, 0, 1, 1, 0, 0],
       [1, 0, 1, 0, 1, 0, 0, 0, 1, 0, 0, 1, 1]], dtype=int64)

अभ्यास करते हैं!

Python में NLP के लिए Feature Engineering