Când etichetele sunt disponibile

Monitorizarea Machine Learning în Python

Maciej Balawejder

Data Scientist

Performanță estimată vs. realizată

Performanță estimată:

  • măsoară performanța așteptată a modelului

  • determinată cu estimatori precum CBPE și DLE

  • estimată când adevărul de referință nu este disponibil

Performanță realizată:

  • reprezintă performanța măsurată
  • determinată cu calculatorul de performanță
  • calculată când adevărul de referință este disponibil
Monitorizarea Machine Learning în Python

Adevăr de referință întârziat

Imaginea afișează o axă temporală cu trei puncte pentru fiecare săptămână. În fiecare luni, performanța realizată a modelului este evaluată, iar estimatorul CBPE este utilizat pentru a estima performanța între luni.

Monitorizarea Machine Learning în Python

Calculator de performanță

# Intialize the calculator
calc = nannyml.PerformanceCalculator(
    y_pred_proba='y_pred_proba',
    y_pred='y_pred',
    y_true='arrived',
    timestamp_column_name='timestamp',
    problem_type='classification_binary',
    chunk_period='d',
    metrics=['roc_auc', 'accuracy'],
    )

# Fit the calculator
calc.fit(reference)
realized_results = calc.calculate(analysis)
Monitorizarea Machine Learning în Python

Reprezentarea grafică a rezultatelor

# Show realized performance plot
results.plot().show()

Imaginea ilustrează graficul ROC AUC realizat, evidențiind o scădere a performanței din aprilie 2019 până în august 2019.

Monitorizarea Machine Learning în Python

Performanță realizată și estimată

# Estimate and calculate results
estimated_results = estimator.estimate(analysis)
realized_results = calculator.calculate(analysis)


# Show comparison plot
realized_results.compare(estimated_results).plot().show()
Monitorizarea Machine Learning în Python

Performanță realizată și estimată

Graficul compară performanța realizată și cea estimată pentru metrica ROC AUC.

Monitorizarea Machine Learning în Python

Să exersăm!

Monitorizarea Machine Learning în Python

Preparing Video For Download...