공변량 시프트란?

Monitoring Machine Learning 개념

Hakim Elakhrass

Co-founder and CEO of NannyML

정의

  • 공변량 변수 = 입력 특성
  • P(X)가 변함
  • 조건부 확률 P(Y|X)는 동일함
  • 공변량의 결합분포가 변함
Monitoring Machine Learning 개념

왜 결합 확률분포인가?

특성 1과 특성 2 사이의 양의 상관과 음의 상관 그래프. 10주차는 파란색으로 양의 상관, 16주차는 빨간색으로 음의 상관을 보임.

Monitoring Machine Learning 개념

공변량 시프트는 왜 발생할까요?

공변량 시프트의 잠재적 원인:

  • 현실 세계는 정상성이 아님: 패턴과 추세가 변화함
  • 데이터 소스 변화: 테스트와 운영 간 수집 방식 차이
  • 시스템·환경의 변화
Monitoring Machine Learning 개념

공변량 시프트는 어떻게 발생하나요?

분포 변화 양상:

  • 급격함

 

  • 점진적

 

  • 계절적

 

분포가 갑자기 변하는 모습. 처음엔 파란 점들이며, 어느 시점 이후 갑자기 빨간 점들로 전환됨.

분포가 서서히 변하는 모습. 처음엔 파란 점들이며 시간이 지나며 점차 빨간 점들로 바뀌었다가, 다시 파란색으로 돌아옴. 초기에 한 점만 바뀌고, 이후 전체가 빨간색으로 전환됨.

분포가 주기적으로 변하는 모습. 파란 점들에서 시작해 어느 시점에 빨간 점들로 바뀌었다가 다시 파란색으로 돌아옴. 이 주기가 반복됨.

Monitoring Machine Learning 개념

공변량 시프트는 어떻게 탐지할까요?

단변량 방법

9월부터 3월까지 월별 생산 값의 분포. 총 7개 분포가 있으며, 9–12월은 유사하고 변화가 작아 파란색, 1–3월은 평균이 낮아지며 분포가 줄어들어 변화가 커 빨간색으로 표시됨.

다변량 방법

다차원 데이터를 잠재 공간으로 압축 후 원형으로 복원하며 특정 오류를 측정하는 다변량 드리프트 탐지 워크플로.

1 https://app.datacamp.com/learn/courses/dimensionality-reduction-in-python
Monitoring Machine Learning 개념

연습해 봅시다!

Monitoring Machine Learning 개념

Preparing Video For Download...