मूलभूत फीचर एक्सट्रैक्शन

Python में NLP के लिए Feature Engineering

Rounak Banik

Data Scientist

अक्षरों की संख्या

"I don't know." # 13 characters

# अक्षरों की संख्या निकालें 
text = "I don't know."
num_char = len(text)

# अक्षरों की संख्या प्रिंट करें
print(num_char)

# 'num_chars' फीचर बनाएँ
df['num_chars'] = df['review'].apply(len)

शब्दों की संख्या

# स्ट्रिंग को शब्दों में बाँटें
text = "Mary had a little lamb."
words = text.split()

# शब्दों की सूची प्रिंट करें
print(words)

['Mary', 'had', 'a', 'little', 'lamb.']

# शब्दों की संख्या प्रिंट करें
print(len(words))

शब्दों की संख्या

# स्ट्रिंग में शब्दों की संख्या लौटाने वाला फंक्शन
def word_count(string):
    # स्ट्रिंग को शब्दों में बाँटें
    words = string.split()

    # शब्दों की सूची की लंबाई लौटाएँ
    return len(words)

# df में num_words फीचर बनाएँ
df['num_words'] = df['review'].apply(word_count)

औसत शब्द-लंबाई

#औसत शब्द-लंबाई लौटाने वाला फंक्शन
def avg_word_length(x):

    # स्ट्रिंग को शब्दों में बाँटें
    words = x.split()

    # हर शब्द की लंबाई निकालें और अलग सूची में रखें
    word_lengths = [len(word) for word in words]

    # औसत शब्द-लंबाई निकालें
    avg_word_length = sum(word_lengths)/len(words)

    # औसत शब्द-लंबाई लौटाएँ
    return(avg_word_length)

औसत शब्द-लंबाई

# नया फीचर avg_word_length बनाएँ
df['avg_word_length'] = df['review'].apply(doc_density)

विशेष फीचर्स

Datacamp Tweet

हैशटैग और मेंशन

# हैशटैग की संख्या लौटाने वाला फंक्शन
def hashtag_count(string):

    # स्ट्रिंग को शब्दों में बाँटें
    words = string.split()

    # हैशटैग की सूची बनाएँ
    hashtags = [word for word in words if word.startswith('#')]

    # हैशटैग की संख्या लौटाएँ
    return len(hashtags)

hashtag_count("@janedoe This is my first tweet! #FirstTweet #Happy")

अन्य फीचर्स

वाक्यों की संख्या
पैराग्राफ की संख्या
बड़े अक्षर से शुरू होने वाले शब्द
पूरी तरह बड़े अक्षरों वाले शब्द
संख्यात्मक मात्राएँ

अभ्यास करते हैं!

Python में NLP के लिए Feature Engineering