Grundläggande särdragsextraktion

Funktionsutveckling för NLP i Python

Rounak Banik

Data Scientist

Antal tecken

"I don't know." # 13 tecken

# Beräkna antalet tecken 
text = "I don't know."
num_char = len(text)

# Skriv ut antalet tecken
print(num_char)

# Skapa ett 'num_chars'-särdrag
df['num_chars'] = df['review'].apply(len)

Antal ord

# Dela upp strängen i ord
text = "Mary had a little lamb."
words = text.split()

# Skriv ut listan med ord
print(words)

['Mary', 'had', 'a', 'little', 'lamb.']

# Skriv ut antalet ord
print(len(words))

Antal ord

# Funktion som returnerar antalet ord i en sträng
def word_count(string):
    # Dela upp strängen i ord
    words = string.split()

    # Returnera längden på ordlistan
    return len(words)

# Skapa särdragen num_words i df
df['num_words'] = df['review'].apply(word_count)

Genomsnittlig ordlängd

#Funktion som returnerar genomsnittlig ordlängd
def avg_word_length(x):

    # Dela upp strängen i ord
    words = x.split()

    # Beräkna längden på varje ord och lagra i en separat lista
    word_lengths = [len(word) for word in words]

    # Beräkna genomsnittlig ordlängd
    avg_word_length = sum(word_lengths)/len(words)

    # Returnera genomsnittlig ordlängd
    return(avg_word_length)

Genomsnittlig ordlängd

# Skapa det nya särdragen avg_word_length
df['avg_word_length'] = df['review'].apply(doc_density)

Specialsärdrag

DataCamp-tweet

Hashtags och omnämnanden

# Funktion som returnerar antalet hashtags
def hashtag_count(string):

    # Dela upp strängen i ord
    words = string.split()

    # Skapa en lista med hashtags
    hashtags = [word for word in words if word.startswith('#')]

    # Returnera antalet hashtags
    return len(hashtags)

hashtag_count("@janedoe This is my first tweet! #FirstTweet #Happy")

Andra särdrag

Antal meningar
Antal stycken
Ord som börjar med versal
Ord med enbart versaler
Numeriska värden

Nu kör vi en övning!

Funktionsutveckling för NLP i Python