NannyML คืออะไร?

การติดตามตรวจสอบ Machine Learning ด้วย Python

Hakim Elakhrass

Co-founder and CEO of NannyML

ความรู้พื้นฐานที่ต้องมี

  • หัวข้อใน Machine Learning Monitoring Concepts:
    • เวิร์กโฟลว์การมอนิเตอร์ที่เหมาะสม
    • ความท้าทายในการมอนิเตอร์โมเดล ML ใน production
    • ความล้มเหลวแบบเงียบ 2 ประเภท, covariate shift และ concept drift
    • 6 วิธีตรวจจับ covariate shift
    • แนวคิดเชิงทฤษฎีของ CBPE และ DLE สำหรับการประมาณค่าประสิทธิภาพ
การติดตามตรวจสอบ Machine Learning ด้วย Python

คอร์สนี้ครอบคลุมอะไรบ้าง?

  • สร้างระบบมอนิเตอร์ที่แข็งแกร่งด้วย NannyML
  • นำอัลกอริทึมประมาณค่าประสิทธิภาพไปใช้งาน
  • ใช้ business calculator คำนวณมูลค่าทางการเงินของโมเดล ML
  • รันวิธีตรวจจับ covariate shift แบบ univariate และ multivariate
การติดตามตรวจสอบ Machine Learning ด้วย Python

ความท้าทายในการมอนิเตอร์

$$

ไม่มี ground truth

กราฟแสดง ROC AUC metric ตามเวลา โดยหลัง deployment กราฟว่างเปล่าเนื่องจากไม่มี ground truth

$$

Alert fatigue

ภาพแสดงการเปลี่ยนแปลงการกระจายข้อมูลตามเวลา บางส่วนเป็นสีแดงบ่งชี้ถึง shift พร้อมความคิดเห็นว่าควรกังวลหรือเป็นแค่ false alarm

การติดตามตรวจสอบ Machine Learning ด้วย Python

โซลูชันแบบ open-source

ภาพแสดงโลโก้ NannyML และบริษัทที่ใช้งาน เช่น Walmart, Allianz, UBS และ DeepMind รวมถึงข้อมูลที่ว่า NannyML ใช้ได้กับทุก framework

การติดตามตรวจสอบ Machine Learning ด้วย Python

ฟีเจอร์หลัก

  1. มอนิเตอร์สิ่งที่สำคัญ
    • การประมาณและคำนวณประสิทธิภาพ
    • การประมาณและคำนวณมูลค่าทางธุรกิจ
  2. ค้นหาสิ่งที่ผิดปกติ
    • Univariate
    • Multivariate
    • คุณภาพข้อมูล
  3. แก้ไขปัญหา
    • ทริกเกอร์การ retrain
การติดตามตรวจสอบ Machine Learning ด้วย Python

วิธีใช้งาน NannyML

ภาพแสดงข้อมูล testing และ production ที่ส่งเข้า NannyML

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
การติดตามตรวจสอบ Machine Learning ด้วย Python

มาฝึกกันเถอะ!

การติดตามตรวจสอบ Machine Learning ด้วย Python

Preparing Video For Download...