Odhad výkonu

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

Přehled

Dva algoritmy odhadu výkonu:

  • CBPE – klasifikační úlohy
  • DLE – regresní úlohy
Monitoring Machine Learning Concepts

CBPE – Jak to funguje

  • Odhaduje matici záměn

 

  • Umožňuje výpočet klasifikačních metrik (přesnost, preciznost, úplnost)

 

  • Zachycuje vliv kovariantního posunu na model

 

Algoritmus CBPE je znázorněn na obrázku. První model vytvoří predikci pro daný příklad a na jejím základě se určí třída. Pokud model předpoví hodnotu 0,9, třída je pozitivní (hodnota nad 0,5). Pokud je hodnota pod 0,5, třída je negativní. Tento postup se opakuje pro všechny příklady v datasetu a výsledné skóre spolehlivosti se agreguje do odhadované matice záměn.

Monitoring Machine Learning Concepts

CBPE – Poznámky

  • Žádný kovariantní posun v nepozorovaných oblastech

 

  • V příchozích datech není přítomen konceptuální drift

 

  • Vyžaduje kalibraci pravděpodobností
Monitoring Machine Learning Concepts

DLE – Jak to funguje

  • Predikuje absolutní chybu modelu

 

  • Využívá externí dílčí model

 

  • Umožňuje výpočet různých regresních metrik (MAE, MSE, MSLE)

 

  • Zachycuje přítomnost kovariantního posunu ve vstupních datech

Obrázek popisuje proces odhadu výkonu pro regresní úlohu v produkci. Nejprve jsou analytická data předána modelu, který vygeneruje predikce. Ty jsou spolu s analytickými daty předány dílčímu modelu, jenž predikuje chybu. Na základě této predikce chyby se vypočítají další regresní metriky pro vyhodnocení výkonu modelu.

Monitoring Machine Learning Concepts

DLE – Poznámky

  • Žádný kovariantní posun v nepozorovaných oblastech

 

  • V příchozích datech není přítomen konceptuální drift

 

  • Vyšší složitost
Monitoring Machine Learning Concepts

Pojďme procvičovat!

Monitoring Machine Learning Concepts

Preparing Video For Download...