Одномерное обнаружение дрейфа

Мониторинг машинного обучения на Python

Hakim Elakhrass

CEO and co-founder

Что такое одномерное обнаружение дрейфа?

На изображении показан процесс мониторинга и место одномерного метода в нём.

Мониторинг машинного обучения на Python

Одномерные методы

  • Jensen-Shannen distance — категориальные и непрерывные
  • Hellinger — категориальные и непрерывные
  • Wasserstein — только непрерывные

  • Kolgomorov-Smirnov — только непрерывные

  • L-infinity — только категориальные

  • Chi2 — только категориальные

1 https://nannyml.readthedocs.io/en/stable/how_it_works/univariate_drift_comparison.html
Мониторинг машинного обучения на Python

Реализация в коде

# Intialize the univariate drift calculator
uv_calc = nannyml.UnivariateDriftCalculator(
    continuous_methods=['wasserstein', 'hellinger'],
    categorical_methods=['jensen_shannon', 'l_infinity', 'chi2'],
    column_names=feature_column_names,
    timestamp_column_name='timestamp',
    chunk_period='d'
    )

# Fit, calculate and plot the results
uv_calc.fit(reference)
uv_results = uv_calc.calculate(analysis)
uv_results.plot().show()
Мониторинг машинного обучения на Python

Фильтрация

  • По названиям столбцов
  • По одномерным методам
# Filter the univariate results
filtered_figure = uv_results.filter(column_names=['trip_distance', 'fare_amount'], 
            methods=['jensen_shannon'])

# Plot the filtered results
filtered_figure.show().plot()
Мониторинг машинного обучения на Python

Ранжировщик по количеству оповещений

  • Ранжирование признаков по количеству оповещений
# Initialize the alert count ranker
alert_count_ranker = nannyml.AlertCountRanker()
alert_count_ranked_results = alert_count_ranker.rank(
    uv_results,
    only_drifting=False)
# Display the results
display(alert_count_ranked_results)

На изображении показан датафрейм с информацией о количестве оповещений для каждого признака.

Мониторинг машинного обучения на Python

Ранжировщик по корреляции

  • Ранжирует признаки по степени корреляции с абсолютными изменениями производительности
# Initialize the correlation ranker
correlation_ranker = nannyml.CorrelationRanker()
correlation_ranker.fit(perf_results.filter(period='reference'))
correlation_ranked_results = correlation_ranker.rank(uv_results, perf_results)

# Display the results
display(correlation_ranked_results)

На изображении показан датафрейм с корреляцией Пирсона и p-значением для каждого признака.

Мониторинг машинного обучения на Python

Мониторинг распределения признаков

  • Обеспечивает более глубокое понимание и улучшает интерпретируемость
# Create distribution plots
distribution_results = uv_results.plot(kind='distribution')

# Show the plots
distribution_results.show()
Мониторинг машинного обучения на Python

График распределения признаков

 

На изображении показаны графики распределения для непрерывных и категориальных признаков.

Мониторинг машинного обучения на Python

Давайте потренируемся!

Мониторинг машинного обучения на Python

Preparing Video For Download...