모델을 모니터링해야 하는 이유

Monitoring Machine Learning 개념

Hakim Elakhrass

Co-founder and CEO of NannyML

프로덕션의 머신러닝

일반 개발 프로세스

화살표 흐름은 프로젝트 정의, 데이터 준비, 모델 학습, 배포의 네 요소로 구성됩니다.

배포 이후

업데이트된 데이터 사이언스 개발 흐름으로, 배포 후 모니터링 화살표가 추가되었습니다. 모니터링은 데이터 준비, 모델 학습, 배포 단계와 연결되어 모니터링 인사이트로 각 과정을 반복 개선합니다.

Monitoring Machine Learning 개념

실패 위험 줄이기

질로우 사례

집 앞의 매물 표지판.

모델 실패 원인:

  • 소프트웨어 이슈
  • 입력 데이터 드리프트
  • 특성과 타깃 간 관계 변화
Monitoring Machine Learning 개념

비즈니스 임팩트 극대화

 

  • 비즈니스 목표에 맞춘 모델 최적화

 

  • 클라우드 비용 절감

 

이미지는 6개의 나무 블록으로 쌓은 피라미드를 보여줍니다. 바닥층은 각 블록의 문자로 KPI를 만든 것을 나타내며, 상층은 성장, 목표 달성, 효율 향상을 나타냅니다.

이미지는 9개의 나무 블록으로 구성된 클라우드 로고를 보여줍니다.

Monitoring Machine Learning 개념

AI 안전성 향상

세 가지 안전 이슈:

  • 편향: 다양한 사용자 그룹에 공정한 출력

 

  • 적대적 공격: 입력 데이터의 악의적 조작 탐지

 

  • 설명 가능성 부족: 모델 의사결정 방식 이해

 

이미지는 저울 눈금이 있는 나무 블록이 앞으로 이동해 편향 감소와 더 큰 공정을 상징합니다.

이미지는 자물쇠가 있는 나무 블록이 앞으로 이동해 보안 강화를 상징합니다.

이미지는 머리 실루엣에서 뻗는 선이 있는 나무 블록이 앞으로 이동해 지능 시스템에 대한 이해 증대를 나타냅니다.

Monitoring Machine Learning 개념

데이터로 세상을 바꾸기

자동화 프로세스

이미지는 자동화된 생산 라인을 보여줍니다.

Monitoring Machine Learning 개념

Vamos praticar!

Monitoring Machine Learning 개념

Preparing Video For Download...