프로파일링, 버전 관리, 그리고 피처 스토어

MLOps 배포와 라이프사이클링

Nemanja Radojkovic

Senior Machine Learning Engineer

데이터 프로파일링

 

 

자동화된 데이터 분석과 요약(데이터 프로파일, 기대값 등) 생성으로, 운영 환경의 데이터 검증 및 모니터링에 사용

프로파일의 목적 1

MLOps 배포와 라이프사이클링

프로파일의 목적 1

MLOps 배포와 라이프사이클링

프로파일의 목적 2

MLOps 배포와 라이프사이클링

프로파일의 목적 3

MLOps 배포와 라이프사이클링

데이터 프로파일 미사용 시 위험

  • 잘못된 입력을 넣고도 _그들_이 불평함
  • 데이터 드리프트를 식별할 수 없어 모델이 더 이상 유효하지 않음
MLOps 배포와 라이프사이클링

체크리스트 프로파일

MLOps 배포와 라이프사이클링

great expectations

MLOps 배포와 라이프사이클링

체크리스트 버전 관리

MLOps 배포와 라이프사이클링

버전 관리 화살표

MLOps 배포와 라이프사이클링

재현성 보장

MLOps 배포와 라이프사이클링

사본 저장 아님

MLOps 배포와 라이프사이클링

데이터는 제자리

MLOps 배포와 라이프사이클링

포인터일 뿐

MLOps 배포와 라이프사이클링

버전: 학습/테스트

MLOps 배포와 라이프사이클링

 

dvc 로고

 

 

 

  • Data
  • Version
  • Control
MLOps 배포와 라이프사이클링

피처 스토어

MLOps 배포와 라이프사이클링

FS는 DB

MLOps 배포와 라이프사이클링

프로젝트 간 재사용

MLOps 배포와 라이프사이클링

이중 DB

MLOps 배포와 라이프사이클링

대용량 DB

MLOps 배포와 라이프사이클링

단일 행 DB

MLOps 배포와 라이프사이클링

재사용성

MLOps 배포와 라이프사이클링

학습-서빙 불일치

MLOps 배포와 라이프사이클링

이메일

MLOps 배포와 라이프사이클링

연습해 봅시다!

MLOps 배포와 라이프사이클링

Preparing Video For Download...