NannyML이란?

Python으로 Machine Learning 모니터링

Hakim Elakhrass

Co-founder and CEO of NannyML

사전 지식

  • 머신러닝 모니터링 개념 주제:
    • 이상적인 모니터링 워크플로
    • 프로덕션 ML 모델 모니터링의 과제
    • 두 가지 조용한 모델 오류: 공변량 변화와 컨셉 드리프트
    • 공변량 변화 탐지 6가지 방법
    • CBPE와 DLE 성능 추정의 이론 개요
Python으로 Machine Learning 모니터링

이 과정에서 다루는 내용

  • NannyML로 견고한 모니터링 시스템 구축
  • 성능 추정 알고리즘 구현
  • 비즈니스 계산기로 모델의 금전적 가치 산정
  • 단변량·다변량 공변량 변화 탐지 실행
Python으로 Machine Learning 모니터링

모니터링 과제

$$

정답 레이블 부재

그래프는 시간에 따른 ROC AUC를 보여주며, 배포 이후에는 정답 레이블이 없어 값이 비어 있습니다.

$$

알림 피로

이미지는 시간에 따른 데이터 분포 변화를 보여주며, 일부는 빨간색으로 시프트를 나타냅니다. 이제 걱정해야 할까요, 아니면 오경보일까요?

Python으로 Machine Learning 모니터링

오픈 소스 솔루션

이미지는 NannyML 로고와 Walmart, Allianz, UBS, DeepMind 등 NannyML을 사용하는 회사를 보여줍니다. 또한 NannyML이 어떤 프레임워크와도 작동함을 나타냅니다.

Python으로 Machine Learning 모니터링

핵심 기능

  1. 중요한 것 모니터링
    • 성능 추정 및 계산
    • 비즈니스 가치 추정 및 계산
  2. 문제 탐지
    • 단변량
    • 다변량
    • 데이터 품질
  3. 해결
    • 재학습 트리거
Python으로 Machine Learning 모니터링

NannyML 사용 방법

이미지는 테스트 및 프로덕션 데이터가 NannyML로 유입되는 모습을 보여줍니다.

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
Python으로 Machine Learning 모니터링

연습해 봅시다!

Python으로 Machine Learning 모니터링

Preparing Video For Download...