Visão geral dos hiperparâmetros do Isolation Forest

Detecção de Anomalias em Python

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

Hiperparâmetros mais importantes

Hiperparâmetros que mais influenciam o IForest:

  • contamination
  • n_estimators
  • max_samples
  • max_features
Detecção de Anomalias em Python

O que é contamination?

Como o IForest classifica os pontos:

  1. Gera escores brutos de anomalia
  2. Define um limite chamado contamination
  3. A maior porcentagem de escores, conforme contamination, é marcada como outlier
Detecção de Anomalias em Python

Definindo contamination

from pyod.models.iforest import IForest


# Aceita um valor entre 0 e 0.5
iforest = IForest(contamination=0.05)
Detecção de Anomalias em Python

O que é n_estimators?

# Mais árvores para conjuntos de dados maiores
iforest = IForest(n_estimators=1000)

iforest.fit(airbnb_df)
Detecção de Anomalias em Python

max_samples e max_features

iforest = IForest(n_estimators=200, max_samples=0.6, max_features=0.9)


iforest.fit(airbnb_df)
Detecção de Anomalias em Python

Crescimento da árvore

  • iTrees:
    • crescem de forma aleatória
    • a divisão é escolhida aleatoriamente entre o mínimo e o máximo da feature
    • crescem até:
      • todos os pontos serem isolados
      • atingir a profundidade máxima
Detecção de Anomalias em Python

Profundidade máxima da árvore

  • Igual ao logaritmo do tamanho da amostra
Detecção de Anomalias em Python

Vantagens do IForest

  • Muito eficiente em grandes conjuntos de dados
  • Não precisa de todas as instâncias normais como outros algoritmos
  • Sem pressupostos estatísticos
  • Bom desempenho pronto para uso
Detecção de Anomalias em Python

Desafios da detecção de outliers

  • Modelos de aprendizado supervisionado usam métricas como RMSE ou log loss
  • Detecção de outliers é um problema não supervisionado
  • Classificadores de outliers devem ser combinados com modelos supervisionados
Detecção de Anomalias em Python

Vamos praticar!

Detecção de Anomalias em Python

Preparing Video For Download...