확장성

프로덕션을 위한 Machine Learning 모델 개발

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

확장성에서의 컴퓨트 제약

  • CPU, 메모리, 디스크 요구 사항은 ML 모델 확장성에 영향
  • 학습·추론 중 CPU, 메모리, 디스크 사용량 측정
  • 조기 식별이 더 나은 확장성으로 연결

서버실

프로덕션을 위한 Machine Learning 모델 개발

모델 복잡도와 확장성

  • 모델 복잡도는 확장성에 영향
  • 복잡도와 확장성의 균형은 어려움
  • 균형 전략:
    • 특성 선택 기법(예: 카이제곱, PCA)
    • 모델 압축 기법(예: 프루닝)

PCA

주성분분석(PCA)

프로덕션을 위한 Machine Learning 모델 개발

배포 속도와 확장성

  • 빠른 배포와 반복은 관련성과 정확도에 중요함
  • 전략
    • 지속적 통합/배포(CI/CD) - 다음 강의에서 다룸
    • 온라인 학습 - 실시간 신규 데이터로 학습

러너

프로덕션을 위한 Machine Learning 모델 개발

최적 확장 전략

  • 절충점: 서빙 비용, 재학습 비용, 배포 속도
  • 확장 전략: 수평, 수직, 자동 확장
    • 수평 확장: 머신 추가
    • 수직 확장: 머신 크기 증가
    • 자동 확장: 작업량에 따라 머신 수 조정

확장

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
프로덕션을 위한 Machine Learning 모델 개발

최적 확장 전략 검토

  • 수평 확장은 로드 밸런싱과 파티셔닝 사용

  • 수평 확장의 절충점: 복잡성, 비용($)

  • 수직 확장은 머신 크기 증가

  • 수직 확장의 절충점: 비용($)

이상적: 수평·수직 자동 확장

확장

1 https://www.spiceworks.com/tech/cloud/articles/horizontal-vs-vertical-cloud-scaling
프로덕션을 위한 Machine Learning 모델 개발

연습해 봅시다!

프로덕션을 위한 Machine Learning 모델 개발

Preparing Video For Download...