Engenharia de features de texto

Pré-processamento para Machine Learning em Python

James Chapman

Curriculum Manager, DataCamp

Extração

  • Expressões regulares: código para identificar padrões
import re

my_string = "temperature:75.6 F"

temp = re.search("\d+\.\d+", my_string)


print(float(temp.group(0)))

75.6
  • \d+
  • \.
  • \d+
Pré-processamento para Machine Learning em Python

Vetorizar texto

TF/IDF: Vetoriza palavras com base na importância

  • TF = Frequência do termo
  • IDF = Frequência inversa do documento
Pré-processamento para Machine Learning em Python

Vetorizar texto

from sklearn.feature_extraction.text import TfidfVectorizer

print(documents.head())

0    Building on successful events last summer and ...
1               Build a website for an Afghan business
2    Please join us and the students from Mott Hall...
3    The Oxfam Action Corps is a group of dedicated...
4    Stop 'N' Swap reduces NYC's waste by finding n...

tfidf_vec = TfidfVectorizer()
text_tfidf = tfidf_vec.fit_transform(documents)
Pré-processamento para Machine Learning em Python

Classificação de texto

 

$$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$$

Pré-processamento para Machine Learning em Python

Vamos praticar!

Pré-processamento para Machine Learning em Python

Preparing Video For Download...