När etiketter finns tillgängliga

Övervakning av maskininlärning i Python

Maciej Balawejder

Data Scientist

Uppskattad vs. realiserad prestanda

Uppskattad prestanda:

  • mäter hur väl modellen förväntas prestera

  • bestäms med estimatorer som CBPE och DLE

  • uppskattas när facit saknas

Realiserad prestanda:

  • representerar uppmätt prestanda
  • bestäms med en prestandakalkylator
  • beräknas när facit finns tillgängligt
Övervakning av maskininlärning i Python

Försenat facit

Bilden visar en tidsaxel med tre punkter per vecka. Varje måndag utvärderas modellens realiserade prestanda, medan CBPE-estimatorn används för att uppskatta prestanda mellan måndagarna.

Övervakning av maskininlärning i Python

Prestanda­kalkylator

# Intialize the calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit the calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)
Övervakning av maskininlärning i Python

Visualisera resultaten

# Show realized performance plot
results.plot().show()

Bilden visar ett diagram över realiserad ROC AUC med ett prestandafall från april 2019 till augusti 2019.

Övervakning av maskininlärning i Python

Realiserad och uppskattad prestanda

# Estimate and calculate results
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Show comparison plot
realized_results.compare(estimated_results).plot().show()
Övervakning av maskininlärning i Python

Realiserad och uppskattad prestanda

Diagrammet jämför realiserad och uppskattad prestanda för ROC AUC-måttet.

Övervakning av maskininlärning i Python

Nu kör vi en övning!

Övervakning av maskininlärning i Python

Preparing Video For Download...