개념 드리프트를 어떻게 처리할까요?

Monitoring Machine Learning 개념

Hakim Elakhrass

Co-founder and CEO of NannyML

개념 드리프트 탐지

  • 오류 기반 방법
    • 시간에 따른 오류 변화 추적
    • 정답 데이터 필요

 

  • 학습·운영 데이터를 함께 써서 새 모델 학습
    • 예측의 변화가 개념 드리프트
    • 고도화된 경우 비용 큼
Monitoring Machine Learning 개념

재학습

첫 그래프는 시간이 지남에 따라 모델 정확도가 점진적으로 감소함을 보여줍니다. 두 번째 그래프는 약간의 정확도 하락 후 재학습으로 정확도가 상승하고, 이 과정이 주기적으로 반복됨을 나타냅니다.

장점:

  • 최신 패턴으로 모델을 유지

 

단점:

  • 비용 증가와 실패 위험
  • 원인 파악은 어려움
Monitoring Machine Learning 개념

온라인 러닝

온라인 러닝 사이클을 보여줍니다. 앱의 데이터가 데이터베이스로 전송되어 즉시 모델을 업데이트하고, 업데이트된 모델을 다시 배포합니다.

장점:

  • 변화에 실시간 적응

 

단점:

  • 정답 데이터에 상시 접근 필요
  • 노이즈에 민감
  • 하이퍼파라미터 튜닝 필요
Monitoring Machine Learning 개념

기타 해결책

 

  • 반복 이벤트용 전용 모델

 

  • 신규 데이터 가중치 조정
    • 최신 데이터에 더 집중하면 더 쉽게 적응

 

타임라인에서 11월 23일에는 일반 모델이 배포되고, 11월 24일에는 블랙 프라이데이 모델이 배포된 뒤 다시 일반 모델이 재배포됨을 보여줍니다.

Monitoring Machine Learning 개념

연습해 봅시다!

Monitoring Machine Learning 개념

Preparing Video For Download...