Modell-agnostiska förklaringar

Förklarbar artificiell intelligens (XAI) – Koncept

Folkert Stijnman

ML Engineer

Svarta lådan-modeller

• Vi vet vad som går in
• Vi vet vad som kommer ut
• Däremellan finns många interna parametrar

Globala och lokala förklaringar

 

• SHAP (SHapley Additive exPlanations)
• LIME (Local Interpretable Model-agnostic Explanations)

 

SHAP (SHapley Additive exPlanations)

 

• Fungerar som en detektiv
• Granskar varje särdrag
• Hjälper till att bedöma varje ingrediens relativa påverkan på slutresultatet

Shapley-värden

• Begrepp från kooperativ spelteori
• Bedömer särdragenes påverkan
• Vilka särdrag spelar roll för modellens prediktion

SHAP för bildigenkänning

LIME (Local Interpretable Model-agnostic Explanations)

• Fungerar som en forskare
• Ändrar indata för att se utfallet
• Vad händer om vi ändrar några pixlar i bilden?

Bygga en självkörande bil

SHAP

• Global förståelse
• Bilsärdragenes påverkan på prestandan som helhet

LIME

• Lokal förståelse
• Bilsärdragenes påverkan på ett specifikt beslut

Nu kör vi en övning!

Förklarbar artificiell intelligens (XAI) – Koncept