Avaliação de modelos: classificação desbalanceada

Praticando perguntas de entrevista de Machine Learning em Python

Lisa Stuart

Data Scientist

Desbalanceamento de classes

• Variável alvo categórica
  • Nº de observações/classe aprox. igual
  • Grande diferença → resultados enganosos

Matriz de confusão

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Métricas de desempenho

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Métricas a partir da matriz

¹ https://scaryscientist.blogspot.com/2016/03/confusion-matrix.html

Técnicas de reamostragem

• Oversample da classe minoritária
• Undersample da classe majoritária
• ATENÇÃO: Separe treino e teste ANTES do reamostragem!

¹ https://www.svds.com/learning-imbalanced-classes/

Funções

Função	retorna
sklearn.linear_model.LogisticRegression	regressão logística
sklearn.metrics.confusion_matrix(y_test,y_pred)	matriz de confusão
sklearn.metrics.precision_score(y_test,y_pred)	precisão
sklearn.metrics.recall_score(y_test,y_pred)	revocação
sklearn.metrics.f1_score(y_test,y_pred)	f1-score
sklearn.utils.resample(deny, n_samples=len(approve))	reamostra

Vamos praticar!

Praticando perguntas de entrevista de Machine Learning em Python