Vysvětlení nezávislá na modelu

Koncepty vysvětlitelné umělé inteligence (XAI)

Folkert Stijnman

ML Engineer

Modely černé skříňky

• Víme, co vstupuje do modelu
• Víme, co z modelu vychází
• Uvnitř je velké množství interních parametrů

Globální a lokální vysvětlení

 

• SHAP (SHapley Additive exPlanations)
• LIME (Local Interpretable Model-agnostic Explanations)

 

SHAP (SHapley Additive exPlanations)

 

• Chová se jako detektiv
• Zkoumá každý příznak
• Pomáhá určit relativní vliv každé složky na výsledek

Shapleyovy hodnoty

• Koncept z teorie kooperativních her
• Hodnocení dopadu příznaků
• Které příznaky ovlivňují predikci modelu

Rozpoznávání obrazu pomocí SHAP

LIME (Local Interpretable Model-agnostic Explanations)

• Chová se jako vědec
• Mění vstup a sleduje výstup
• Co se stane, když změníme některé pixely obrázku?

Stavba autonomního vozidla

SHAP

• Globální porozumění
• Vliv vlastností vozidla na celkový výkon

LIME

• Lokální porozumění
• Vliv vlastností vozidla na konkrétní rozhodnutí

Pojďme si procvičit!

Koncepty vysvětlitelné umělé inteligence (XAI)