Kiểm tra chất lượng dữ liệu và thống kê tóm tắt

Giám sát Machine Learning bằng Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Kiểm tra chất lượng dữ liệu và thống kê tóm tắt là gì?

Hình mô tả quy trình giám sát với phần kiểm tra chất lượng dữ liệu và thống kê tóm tắt được tô đậm trong bước phân tích nguyên nhân gốc tự động.

  • Phát hiện giá trị khuyết
  • Phát hiện giá trị chưa thấy
  • Tổng, trung bình, độ lệch chuẩn, trung vị và số hàng
Giám sát Machine Learning bằng Python

Phát hiện giá trị khuyết

  • Số quan sát trong một phân khúc giảm
  • Mất thông tin giá trị
  • Diễn giải và quyết định sai
# Instantiate the missing values calculator module
ms_calc = nannyml.MissingValuesCalculator(column_names=["Age"], normalize=True)

# Fit the calculator on the reference set
ms_calc.fit(reference)

# Calculate the rate of the missing values on the analysis set
ms_results = ms_calc.calculate(analysis)
ms_results.plot()
Giám sát Machine Learning bằng Python

Biểu đồ giá trị khuyết

Biểu đồ hiển thị kết quả giá trị khuyết khi tham số normalize đặt là True và False.

Giám sát Machine Learning bằng Python

Phát hiện giá trị chưa thấy

  • Giá trị của biến phân loại không xuất hiện trong giai đoạn tham chiếu
  • Tăng giá trị chưa thấy có thể làm mô hình kém tự tin ở một số vùng
# Instantiate the unseen values calculator module
us_calc = nannyml.UnseenValuesCalculator(column_names=["Cabin"], normalize=False)

# Fit, calculate and plot the rate of the unseen values
us_calc.fit(reference)
us_results = us_calc.calculate(analysis)
us_results.plot()

Hình hiển thị biểu đồ giá trị chưa thấy với thay đổi về số lượng giá trị chưa thấy.

Giám sát Machine Learning bằng Python

Thống kê tóm tắt

  • Tổng: Hữu ích với dữ liệu tài chính để tính doanh thu hoặc lợi nhuận theo kỳ.
  • Trung bình và Độ lệch chuẩn: Hỗ trợ kiểm tra trôi dạt dữ liệu và khả năng giải thích.
  • Trung vị: Ít bị ảnh hưởng bởi ngoại lệ, hữu ích khi có nhiều giá trị cực trị.
  • Số hàng: Kiểm tra có đủ dữ liệu trong mỗi phân khúc.
sum_calc = nannyml.SummaryStatsSumCalculator(column_names=selected_columns)
avg_calc = nannyml.SummaryStatsAvgCalculator(column_names=selected_columns)
std_calc = nannyml.SummaryStatsStdCalculator(column_names=selected_columns)
med_calc = nannyml.SummaryStatsMedianCalculator(column_names=selected_columns)
rows_calc = nannyml.SummaryStatsRowCountCalculator(column_names=selected_columns)
Giám sát Machine Learning bằng Python

Ayo berlatih!

Giám sát Machine Learning bằng Python

Preparing Video For Download...