Як працювати з виявленими викидами

Виявлення аномалій у Python

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

Застосування виявлення аномалій

  • Медицина
  • Кібербезпека
  • Виявлення шахрайства

Проведіть два аналізи — з викидами і без них.

Виявлення аномалій у Python

Причини появи викидів

  • Помилки введення даних:
    • Друкарські помилки
    • Помилки вимірювання
    • Людські помилки
    • Видаліть, якщо не виправлено
  • Помилки вибірки:
    • Не з цільового розподілу
    • Видаліть
  • Природні:
    • Природно рідкісні, але з генеральної сукупності
    • Не видаляйте
Виявлення аномалій у Python

Видалення за величиною

  • Надто мало: підтвердьте і видаліть
  • Надто багато: викликає підозру — використайте інші моделі:
    • GLM
    • Квантильна регресія
    • GEE
  • Утворює кластер: проведіть глибший аналіз
Виявлення аномалій у Python

Обрізання (trimming)

# Calculate the percentiles
percentile_first = google['Volume'].quantile(0.01)
percentile_99th = google['Volume'].quantile(0.99)


# Trim
google['Volume'] = google['Volume'].clip(percentile_first, percentile_99th)
Виявлення аномалій у Python

Заміна значень

google.replace(0, 100, inplace=True)
Виявлення аномалій у Python

Давайте потренуємось!

Виявлення аномалій у Python

Preparing Video For Download...