Leistung verfolgen

Entscheidungswissenschaften verstehen

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

Modellleistung

Verschiedene Modelle, verschiedene Stärken

  • Ein Modell erkennt besser, wer wahrscheinlich ausfällt
  • Das andere schätzt besser, wie hoch der Ausfall sein könnte

  scales.png

Welches Modell ist besser? Kommt aufs Ziel an

  • Geht es dir mehr ums Markieren riskanter Kund:innen
  • Oder ums Schätzen der finanziellen Auswirkung eines Ausfalls
Entscheidungswissenschaften verstehen

Modellmetriken

Verschiedene Kennzahlen beleuchten unterschiedliche Leistungsaspekte

Häufig genutzte Evaluationsmetriken:

  • Accuracy
  • Precision
  • Recall
  • F1-Score
  • Area Under the Curve (AUC)
  • Mean Absolute Error (MAE)
  • Mean Absolute Percent Error (MAPE)

  dashboard.png

Entscheidungswissenschaften verstehen

Accuracy

 

Grober Überblick zur Korrektheit

  • Misst den Anteil aller korrekten Vorhersagen
  • Funktioniert gut bei balancierten Klassen, z. B. spam vs not spam

acc.png

Precision

 

Wie viele vorhergesagte Positive sind tatsächlich korrekt

  • Wichtig, wenn False Positives teuer sind
  • Niedrige Precision = viele legitime Transaktionen als fraudulent markiert

precision.png

Entscheidungswissenschaften verstehen

Weitere Metriken

Recall: echte Positive finden

  • Misst, wie gut das Modell tatsächliche Positive findet
  • Wichtig, wenn ein Verpassen teuer ist (z. B. Betrug, Krankheit)

Area under the curve (AUC): Maß für Klassentrennung

  • Bewertet, wie gut das Modell Klassen unterscheidet
  • Nicht an einen festen Schwellenwert gebunden

Regressionsmetriken: Vorhersagefehler messen

  • Mean Absolute Error (MAE): durchschnittliche Fehlergröße
  • Mean Percentage Error (MPE): prozentuale Abweichung der Vorhersagen

 

moremetrics.png

Entscheidungswissenschaften verstehen

Dashboards sind entscheidend

Dashboards verwandeln komplexe Analysen in klare, umsetzbare Insights und erleichtern so Entscheidungen.

 

dahsboard2.gif

Entscheidungswissenschaften verstehen

Grundprinzipien

 

Kenne dein Publikum

  • Führungskräfte wollen Zusammenfassungen
  • Analyst:innen brauchen Details

 

Wichtige Kennzahlen hervorheben

  • Zeige nur das Wesentliche
  • Vermeide Unordnung und Lärm

 

Klar visualisieren

  • Balkendiagramme für Vergleiche, Liniendiagramme für Trends
  • Einfache Visuals funktionieren oft am besten

  clear.png

Entscheidungswissenschaften verstehen

Weitere Prinzipien

Veränderungen über die Zeit verfolgen

  • Modellleistung und Feature Drift monitoren
  • Trends geben Kennzahlen Kontext

Kontext ergänzen, nicht nur Zahlen

  • Kurze Anmerkungen erklären wichtige Veränderungen
  • Hilf Nutzer:innen zu verstehen, was passiert und warum

Testen und iterieren

  • Früh teilen und Feedback einholen
  • Dashboards anpassen, wenn Modelle und Bedürfnisse sich ändern

iterate.png

Entscheidungswissenschaften verstehen

Lass uns üben!

Entscheidungswissenschaften verstehen

Preparing Video For Download...