Beschikbaarheid van ground truth

Monitoring Machine Learning-concepten

Hakim Elakhrass

Co-founder and CEO of NannyML

Directe ground truth

Een afbeelding van een taxi, gerelateerd aan aankomstvoorspelling.

  • Meet de echte performance

  • Makkelijk te evalueren

  • Nauwkeurig

Monitoring Machine Learning-concepten

Productiedata - direct

De grafiek toont de performance van een classificatieprobleem: de "referentieperiode" is de testset, de "analyseperiode" is de productiestroom. Er is ook een tabel met gemarkeerde ground-truthwaarden.

Monitoring Machine Learning-concepten

Vertraagde ground truth

Een afbeelding van een lege portemonnee, gerelateerd aan wanbetalingsvoorspelling.

  • Vertraging hangt af van de toepassing
  • Voorbeeld: wanbetaling lening
  • Tussentijds performance onbekend
  • Vereist performance-inschatting
Monitoring Machine Learning-concepten

Productiedata - vertraagd

De grafiek toont de performance van een classificatieprobleem: de "referentieperiode" is de testset, de "analyseperiode" is de productiestroom. Er is ook een tabel met gemarkeerde ground-truthwaarden.

Monitoring Machine Learning-concepten

Ontbrekende ground truth

Een afbeelding van een verzekeringspolis, gerelateerd aan het prijsvoorbeeld.

  • Aanwezig in volledig geautomatiseerde processen
  • Voorbeeld: verzekeringspremies
  • Werkelijke performance onbekend
  • Vereist performance-inschatting
Monitoring Machine Learning-concepten

Productiedata - ontbrekend

De grafiek toont de performance van een classificatieprobleem: de "referentieperiode" is de testset, de "analyseperiode" is de productiestroom. Er is ook een tabel met gemarkeerde ground-truthwaarden.

Monitoring Machine Learning-concepten

Laten we oefenen!

Monitoring Machine Learning-concepten

Preparing Video For Download...