การตรวจสอบคุณภาพข้อมูลและสถิติสรุป

การติดตามตรวจสอบ Machine Learning ด้วย Python

Hakim Elakhrass

Co-founder and CEO of NannyML

การตรวจสอบคุณภาพข้อมูลและสถิติสรุปคืออะไร?

ภาพแสดงขั้นตอนการมอนิเตอร์ โดยไฮไลต์ส่วนการตรวจสอบคุณภาพข้อมูลและสถิติสรุปในขั้นตอน automated root cause analysis

  • การตรวจจับค่าที่หายไป
  • การตรวจจับค่าที่ไม่เคยพบ
  • การหาผลรวม ค่าเฉลี่ย ส่วนเบี่ยงเบนมาตรฐาน มัธยฐาน และจำนวนแถว
การติดตามตรวจสอบ Machine Learning ด้วย Python

การตรวจจับค่าที่หายไป

  • จำนวนข้อมูลในแต่ละ chunk ลดลง
  • สูญเสียข้อมูลที่มีคุณค่า
  • การตีความและการตัดสินใจที่ผิดพลาด
# Instantiate the missing values calculator module
ms_calc = nannyml.MissingValuesCalculator(column_names=["Age"], normalize=True)

# Fit the calculator on the reference set
ms_calc.fit(reference)

# Calculate the rate of the missing values on the analysis set
ms_results = ms_calc.calculate(analysis)
ms_results.plot()
การติดตามตรวจสอบ Machine Learning ด้วย Python

กราฟค่าที่หายไป

กราฟแสดงผลลัพธ์ค่าที่หายไป เมื่อตั้งค่าพารามิเตอร์ normalize เป็น True และ False

การติดตามตรวจสอบ Machine Learning ด้วย Python

การตรวจจับค่าที่ไม่เคยพบ

  • ค่าของฟีเจอร์แบบ categorical ที่ไม่ปรากฏในช่วง reference
  • ค่าที่ไม่เคยพบที่เพิ่มขึ้นอาจทำให้โมเดลมีความมั่นใจน้อยลงในบางช่วง
# Instantiate the unseen values calculator module
us_calc = nannyml.UnseenValuesCalculator(column_names=["Cabin"], normalize=False)

# Fit, calculate and plot the rate of the unseen values
us_calc.fit(reference)
us_results = us_calc.calculate(analysis)
us_results.plot()

ภาพแสดงกราฟค่าที่ไม่เคยพบ พร้อมการเปลี่ยนแปลงของจำนวนค่าดังกล่าว

การติดตามตรวจสอบ Machine Learning ด้วย Python

สถิติสรุป

  • ผลรวม: เหมาะสำหรับข้อมูลทางการเงินเพื่อคำนวณรายได้หรือกำไรในช่วงเวลาหนึ่ง
  • ค่าเฉลี่ย และ ส่วนเบี่ยงเบนมาตรฐาน: ช่วยตรวจสอบ data drift และการอธิบายโมเดล
  • มัธยฐาน: ทนต่อ outlier เหมาะกับฟีเจอร์ที่มีค่าสุดโต่งจำนวนมาก
  • จำนวนแถว: ใช้ตรวจสอบว่าแต่ละ chunk มีข้อมูลเพียงพอหรือไม่
sum_calc = nannyml.SummaryStatsSumCalculator(column_names=selected_columns)
avg_calc = nannyml.SummaryStatsAvgCalculator(column_names=selected_columns)
std_calc = nannyml.SummaryStatsStdCalculator(column_names=selected_columns)
med_calc = nannyml.SummaryStatsMedianCalculator(column_names=selected_columns)
rows_calc = nannyml.SummaryStatsRowCountCalculator(column_names=selected_columns)
การติดตามตรวจสอบ Machine Learning ด้วย Python

มาฝึกกันเถอะ!

การติดตามตรวจสอบ Machine Learning ด้วย Python

Preparing Video For Download...