공변량 이동 감지 방법

Monitoring Machine Learning 개념

Hakim Elakhrass

Co-founder and CEO of NannyML

다변량 드리프트 탐지

  • 결합 분포의 변화를 탐지

 

 

  • 데이터 압축에 PCA 알고리즘 사용

 

 

  • 재구성 오차로 드리프트 측정

이미지는 다변량 드리프트 탐지 워크플로로, 다차원 데이터를 잠재 공간으로 압축한 뒤 일정 재구성으로 원공간에 복원합니다.

그래프는 시간에 따른 데이터 재구성 드리프트 오차 변동을 보여줍니다.

Monitoring Machine Learning 개념

단변량 드리프트 탐지

변수 유형:

  • 범주형: 혼인 상태, 흡연 상태, 학력 수준처럼 그룹으로 나뉨

 

  • 연속형: 키, 몸무게, 거리, 시간처럼 구간 내 무한한 실수값
Monitoring Machine Learning 개념

연속형 방법 - Jensen-Shannon

  • 두 분포의 유사도 측정

  • 범위 [0, 1]

  • 작지만 의미 있는 드리프트 포착

이미지는 Jensen-Shannon 거리로 측정한 분포 변화입니다.

Monitoring Machine Learning 개념

연속형 방법 - Wasserstein

  • 한 분포를 다른 분포로 바꾸는 최소 노력

  • 범위 [0, +inf]

  • 이상치에 민감함

이미지는 Wasserstein 거리로 측정한 분포 변화입니다.

Monitoring Machine Learning 개념

연속형 방법 - Kolmogorov-Smirnov

  • 누적분포함수의 최대 거리

  • 범위 [0, 1]

  • 과탐지 위험 높음

이미지는 Kolmogorov-Smirnov 거리로 측정한 분포 변화입니다.

Monitoring Machine Learning 개념

연속형 방법 - Hellinger

  • 분포 간 겹침 정도
  • 범위 [0, 1]
  • 큰 이동 간 구분이 약함

 

연속형 방법 - 권장사항

  • Jensen-Shannon과 Wasserstein이 대체로 우수

이미지는 Hellinger 거리로 측정한 분포 변화입니다.

Monitoring Machine Learning 개념

범주형 방법 - 카이제곱

  • 저빈도 범주 변화에 민감함

이미지는 두 범주 a, b를 가진 범주형 변수의 카이제곱 통계 시각화입니다.

Monitoring Machine Learning 개념

범주형 방법 - L-무한대

  • 모든 범주 중 가장 큰 이동을 식별

이미지는 세 범주 a, b, c를 가진 범주형 변수에 대한 L-무한 방법 시각화입니다.

Monitoring Machine Learning 개념

범주형 방법 - Jensen-Shannon과 Hellinger

  • 범주가 많을 때 Jensen-Shannon 또는 L-무한대 권장
  • 개별 범주 변화 탐지에는 L-무한대 거리 사용

이미지는 세 범주 a, b, c에 대한 Jensen-Shannon과 Hellinger 방법 시각화입니다.

Monitoring Machine Learning 개념

연습해 봅시다!

Monitoring Machine Learning 개념

Preparing Video For Download...