การเติมค่าด้วย fancyimpute

การจัดการข้อมูลที่หายไปใน Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

แพ็กเกจ fancyimpute

แพ็กเกจที่มีเทคนิคขั้นสูง
ใช้อัลกอริทึม machine learning ในการเติมค่าที่ขาดหายไป
ใช้คอลัมน์อื่นในการพยากรณ์และเติมค่าที่ขาดหายไป

เทคนิคการเติมค่าใน fancyimpute

KNN หรือ K-Nearest Neighbor
MICE หรือ Multiple Imputation by Chained Equations

การเติมค่าด้วย K-Nearest Neighbor

เลือก K จุดข้อมูลที่ใกล้เคียงหรือคล้ายกันที่สุดโดยใช้ฟีเจอร์ที่มีค่าครบทั้งหมด
นำค่าเฉลี่ยของจุดข้อมูลที่เลือกมาเติมในฟีเจอร์ที่ขาดหายไป

K Nearest Neighbors GIF

การเติมค่าด้วย K-Nearest Neighbor

from fancyimpute import KNN
diabetes_knn = diabetes.copy(deep=True)
knn_imputer = KNN()
diabetes_knn.iloc[:, :] = knn_imputer.fit_transform(diabetes_knn)

Multiple Imputations by Chained Equations (MICE)

รันการถดถอยหลายครั้งบนกลุ่มตัวอย่างแบบสุ่มจากข้อมูล
นำค่าเฉลี่ยของผลการถดถอยหลายครั้งมาใช้
เติมค่าฟีเจอร์ที่ขาดหายไปของจุดข้อมูลนั้น

Multiple Imputations by Chained Equations (MICE)

from fancyimpute import IterativeImputer

diabetes_MICE = diabetes.copy(deep=True)
MICE_imputer = IterativeImputer()
diabetes_MICE.iloc[:, :] = MICE_imputer.fit_transform(diabetes_MICE)

สรุป

ใช้เทคนิค machine learning ในการเติมค่าที่ขาดหายไป
KNN ค้นหาจุดข้อมูลที่คล้ายกันมากที่สุดเพื่อเติมค่า
MICE รันการถดถอยหลายครั้งเพื่อเติมค่า
MICE เป็นโมเดลที่มีความเสถียรสูงสำหรับการเติมค่า

มาฝึกกันเถอะ!

การจัดการข้อมูลที่หายไปใน Python

Preparing Video For Download...