การใช้ Z-score เพื่อตรวจจับความผิดปกติ

การตรวจจับความผิดปกติใน Python

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

Z-score คืออะไร?

ตัวอย่าง:

สูตรคำนวณ Z-score

กฎเชิงประจักษ์ (Empirical Rule):

ค่าผิดปกติ (Outliers):

ภาพ Empirical Rule จาก Wikipedia แสดงการแจกแจงปกติพร้อมการระบุช่วง 68%, 95% และ 99.7%

¹ ภาพจากหน้า Empirical Rule บน Wikipedia

from scipy.stats import zscore


scores = zscore(sales)

scores[:5]

0    0.910601
1   -1.018440
2   -0.049238
3    0.849103
4   -0.695373

is_over_3 = np.abs(scores) > 3

is_over_3[:5]

0    False
1    False
2    False
3    True
4    False

outliers = sales[is_over_3]

print(len(outliers))

สูตรคำนวณคะแนน Median Absolute Deviation

from scipy.stats import median_abs_deviation

mad_score = median_abs_deviation(sales)

mad_score

1081.925

Modified z-score แบบ MAD ถูกนำไปใช้งานใน PyOD
PyOD - ไลบรารี Python สำหรับตรวจจับค่าผิดปกติ:
- มีอัลกอริทึมมากกว่า 40 แบบ
- ทุกอัลกอริทึมใช้ syntax แบบเดียวกับ sklearn

from pyod.models.mad import MAD

# threshold defaults to 3.5
mad = MAD(threshold=3.5)


# Reshape sales
sales_reshaped = sales.values.reshape(-1, 1)

labels = mad.fit_predict(sales_reshaped)

print(labels.sum())

การตรวจจับความผิดปกติใน Python