Cum să gestionăm valorile extreme

Detecția anomaliilor în Python

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

Aplicații ale detectării anomaliilor

  • Medicină
  • Securitate cibernetică
  • Detectarea fraudelor

Efectuați două analize - cu și fără valori extreme.

Detecția anomaliilor în Python

Cauzele valorilor extreme

  • Erori de introducere a datelor:
    • Greșeli de tastare
    • Erori de măsurare
    • Greșeli umane
    • Eliminați dacă nu pot fi corectate
  • Erori de eșantionare:
    • Nu provin din distribuția țintă
    • Eliminați
  • Naturale:
    • Neobișnuite, dar provin din populație
    • Nu eliminați
Detecția anomaliilor în Python

Eliminare în funcție de magnitudine

  • Prea puține: confirmați și eliminați
  • Prea multe: ridică suspiciuni - utilizați alte modele:
    • GLM-uri
    • Regresia cantilă
    • GEE-uri
  • Formează un cluster: efectuați o analiză mai aprofundată
Detecția anomaliilor în Python

Trunchiere

# Calculate the percentiles
percentile_first = google['Volume'].quantile(0.01)
percentile_99th = google['Volume'].quantile(0.99)


# Trim
google['Volume'] = google['Volume'].clip(percentile_first, percentile_99th)
Detecția anomaliilor în Python

Înlocuire

google.replace(0, 100, inplace=True)
Detecția anomaliilor în Python

Să exersăm!

Detecția anomaliilor în Python

Preparing Video For Download...