Cách xử lý ngoại lệ đã phát hiện

Phát hiện bất thường với Python

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

Ứng dụng của phát hiện bất thường

  • Y học
  • An ninh mạng
  • Phát hiện gian lận

Thực hiện hai phân tích - có và không có ngoại lệ.

Phát hiện bất thường với Python

Lý do có ngoại lệ

  • Lỗi nhập liệu:
    • Gõ sai
    • Sai số đo
    • Lỗi do con người
    • Loại bỏ nếu không sửa được
  • Lỗi chọn mẫu:
    • Không từ phân phối mục tiêu
    • Loại bỏ
  • Tự nhiên:
    • Kỳ lạ tự nhiên nhưng thuộc quần thể
    • Không loại bỏ
Phát hiện bất thường với Python

Loại bỏ theo độ lớn

  • Quá ít: xác nhận rồi loại bỏ
  • Quá nhiều: đáng ngờ - dùng mô hình khác:
    • GLM
    • Hồi quy bách phân vị
    • GEE
  • Tạo cụm: phân tích sâu hơn
Phát hiện bất thường với Python

Cắt ngọn (trimming)

# Calculate the percentiles
percentile_first = google['Volume'].quantile(0.01)
percentile_99th = google['Volume'].quantile(0.99)


# Trim
google['Volume'] = google['Volume'].clip(percentile_first, percentile_99th)
Phát hiện bất thường với Python

Thay thế

google.replace(0, 100, inplace=True)
Phát hiện bất thường với Python

Hãy thực hành!

Phát hiện bất thường với Python

Preparing Video For Download...