Is je AI-systeem succesvol?

Artificial Intelligence begrijpen

Maarten Van den Broeck

Senior Content Developer at DataCamp

Wanneer moet je succes meten?

MLOps-methodologie levenscyclus

Wanneer moet je succes meten?

Het meten van succes gedurende de hele MLOps-cyclus

Offline prestaties meten: nauwkeurigheid

Trainings- en validatiegegevens

Offline prestaties meten: nauwkeurigheid

Een model trainen

Offline prestaties meten: nauwkeurigheid

Een model checken met testvoorbeelden

Offline prestaties meten: nauwkeurigheid

Voorspellingen vergelijken met echte labels

Offline prestaties meten: nauwkeurigheid

Berekeningsnauwkeurigheid

Meer dan alleen nauwkeurigheid: fouten en andere statistieken

Foutmaatstaf in regressiemodellen

Metingen voor zoek- en aanbevelingssystemen: kwaliteit van de rangschikking (hoe relevant de items zijn voor de gebruiker), diversiteit in zoekresultaten of aanbevelingen, enz.

Rangschikking van aanbevolen producten

Het meten van succes in de productie

Modelverslechtering: de gemeten waarde wordt na verloop van tijd slechter.

Modelverslechtering

Zakelijke statistieken: Kernprestatie-indicatoren (KPI's)
- Een manier om te zien hoe goed de organisatie presteert en of ze op schema liggen met hun doelen.

Risico's: wat kan er misgaan?

Mogelijke risico's zijn onder andere:

Vertekende gegevens
Gebrek aan transparantie
Ethische kwesties
Twijfelachtige betrouwbaarheid van het systeem
Kwetsbaarheid voor cyberdreigingen

Proof-of-Concept (PoC):

Proefproject om te kijken of het haalbaar is en wat het kan opleveren + vroeg risico's spotten

Laten we oefenen!

Artificial Intelligence begrijpen