Panoramica degli iperparametri di Isolation Forest
Rilevamento delle anomalie in Python
Bekhruz (Bex) Tuychiev
Kaggle Master, Data Science Content Creator
Iperparametri più importanti
Iperparametri che influenzano di più IForest:
contaminationn_estimatorsmax_samplesmax_features
Cos’è la contamination?
Come IForest classifica i punti:
- Genera punteggi di anomalia grezzi
- Imposta una soglia detta
contamination - La percentuale più alta di punteggi (definita da
contamination) è marcata come outlier
Impostare contamination
from pyod.models.iforest import IForest# Accetta un valore tra 0 e 0.5 iforest = IForest(contamination=0.05)
Cos’è n_estimators?
# Più alberi per dataset più grandi
iforest = IForest(n_estimators=1000)
iforest.fit(airbnb_df)
max_samples e max_features
iforest = IForest(n_estimators=200, max_samples=0.6, max_features=0.9)iforest.fit(airbnb_df)
Crescita degli alberi
- Gli iTrees:
- crescono in modo casuale
- lo split è scelto a caso tra min e max della feature
- crescono finché:
- tutti i punti sono isolati
- si raggiunge la profondità massima
Profondità massima dell’albero
- Uguale al logaritmo della dimensione del campione
Vantaggi di IForest
- Molto efficiente su dataset grandi
- Non richiede tutte le istanze normali come altri algoritmi
- Nessuna assunzione statistica
- Buone prestazioni out-of-the-box
Sfide del rilevamento outlier
- I modelli supervisionati usano metriche come RMSE o log loss
- Il rilevamento di outlier è non supervisionato
- I classificatori di outlier vanno combinati con modelli supervisionati
Ayo berlatih!
Rilevamento delle anomalie in Python
