วิธีจัดการกับ Outlier ที่พบ

การตรวจจับความผิดปกติใน Python

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

การประยุกต์ใช้การตรวจจับความผิดปกติ

การแพทย์
ความปลอดภัยทางไซเบอร์
การตรวจจับการฉ้อโกง

วิเคราะห์สองแบบ — รวมและไม่รวม Outlier

สาเหตุของการมี Outlier

ข้อผิดพลาดจากการป้อนข้อมูล:
- การพิมพ์ผิด
- ข้อผิดพลาดจากการวัด
- ความผิดพลาดของมนุษย์
- ลบออก เว้นแต่จะแก้ไขได้
ข้อผิดพลาดจากการสุ่มตัวอย่าง:
- ไม่ได้มาจากการกระจายเป้าหมาย
- ลบออก
ตามธรรมชาติ:
- ผิดปกติโดยธรรมชาติแต่มาจากประชากรกลุ่มเดียวกัน
- ไม่ต้องลบออก

การลบตามขนาดของค่า

น้อยเกินไป: ยืนยันแล้วลบออก
มากเกินไป: น่าสงสัย — ใช้โมเดลอื่น:
- GLMs
- Quantile Regression
- GEEs
เป็นกลุ่ม: วิเคราะห์เชิงลึกเพิ่มเติม

การตัดแต่งข้อมูล (Trimming)

# Calculate the percentiles
percentile_first = google['Volume'].quantile(0.01)
percentile_99th = google['Volume'].quantile(0.99)


# Trim
google['Volume'] = google['Volume'].clip(percentile_first, percentile_99th)

การแทนที่ค่า (Replacing)

google.replace(0, 100, inplace=True)

มาฝึกกันเถอะ!

การตรวจจับความผิดปกติใน Python