Khi nào và cách xóa dữ liệu thiếu

Xử lý Dữ liệu Khuyết trong Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Các loại xóa

  1. Xóa theo cặp (pairwise)
  2. Xóa theo danh sách (listwise)

Lưu ý: Dùng khi giá trị là MCAR.

Xử lý Dữ liệu Khuyết trong Python

Xóa theo cặp

DataFrame diabetes

Xóa theo cặp cho bộ dữ liệu diabetes 768 hàng × 9 cột

diabetes['Glucose'].mean()
121.687
diabetes.count()
763
diabetes['Glucose'].sum() / 
       diabetes['Glucose'].count()
121.687
Xử lý Dữ liệu Khuyết trong Python

Xóa theo danh sách (Complete Case)

DataFrame diabetes

Xóa theo danh sách cho bộ dữ liệu diabetes 768 hàng × 9 cột

diabetes.dropna(subset=['Glucose'], 
                       how='any', 
                       inplace=True)
Xử lý Dữ liệu Khuyết trong Python

Xóa trong DataFrame diabetes

msno.matrix(diabetes)

diabetes['Glucose'].isnull().sum()
5

Biểu đồ ma trận thiếu của diabetes

Xử lý Dữ liệu Khuyết trong Python

Xóa trong DataFrame diabetes

diabetes.dropna(subset=["Glucose"], how='any', inplace=True)
msno.matrix(diabetes)

Biểu đồ ma trận thiếu của bộ dữ liệu diabetes

Xử lý Dữ liệu Khuyết trong Python

Xóa trong DataFrame diabetes

diabetes['BMI'].isnull().sum()
11
diabetes.dropna(subset=["BMI"], how='any', inplace=True)
msno.matrix(diabetes)

Biểu đồ ma trận thiếu của bộ dữ liệu diabetes

Xử lý Dữ liệu Khuyết trong Python

Tóm tắt

  • Xóa theo cặp (pairwise)
  • Xóa theo danh sách (listwise)
  • Chỉ dùng xóa khi giá trị là MCAR
Xử lý Dữ liệu Khuyết trong Python

Ayo berlatih!

Xử lý Dữ liệu Khuyết trong Python

Preparing Video For Download...