Verfügbarkeit von Ground Truth

Überwachung von Machine-Learning-Konzepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Sofortige Ground Truth

Ein Taxi, passend zur Ankunftsprognose.

  • Misst die echte Performance

  • Einfache Auswertung

  • Präzise

Überwachung von Machine-Learning-Konzepten

Produktionsdaten – sofort

Das Diagramm zeigt die Performance einer Klassifikation: „Referenzzeitraum“ = Testdatensatz, „Analysezeitraum“ = Produktionsdatenstrom. Zudem eine Tabelle mit markierten Ground-Truth-Werten.

Überwachung von Machine-Learning-Konzepten

Verzögerte Ground Truth

Ein leeres Portemonnaie, passend zur Kreditausfallprognose.

  • Verzögerung abhängig von der Anwendung
  • Beispiel: Kreditausfallprognose
  • Zwischenzeitliche Performance unbekannt
  • Erfordert Performance-Schätzung
Überwachung von Machine-Learning-Konzepten

Produktionsdaten – verzögert

Das Diagramm zeigt die Performance einer Klassifikation: „Referenzzeitraum“ = Testdatensatz, „Analysezeitraum“ = Produktionsdatenstrom. Zudem eine Tabelle mit markierten Ground-Truth-Werten.

Überwachung von Machine-Learning-Konzepten

Keine Ground Truth

Ein Bild einer Versicherungspolice zum Pricing-Beispiel.

  • In vollautomatisierten Prozessen vorhanden
  • Beispiel: Versicherungstarifierung
  • Tatsächliche Performance unbekannt
  • Erfordert Performance-Schätzung
Überwachung von Machine-Learning-Konzepten

Produktionsdaten – keine

Das Diagramm zeigt die Performance einer Klassifikation: „Referenzzeitraum“ = Testdatensatz, „Analysezeitraum“ = Produktionsdatenstrom. Zudem eine Tabelle mit markierten Ground-Truth-Werten.

Überwachung von Machine-Learning-Konzepten

Lass uns üben!

Überwachung von Machine-Learning-Konzepten

Preparing Video For Download...