Databricks에서 MLFlow로 모델 학습

Databricks 개념

Kevin Barlow

Data Practitioner

머신러닝 수명주기

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

모델 학습과 개발

머신러닝 수명주기 - 모델링

싱글 노드 vs. 멀티 노드

싱글 노드 머신러닝

실험·초기 시작에 적합
초기 설정이 쉬움
운영 적용이 어려움

scikit-learn 로고

멀티 노드 머신러닝

운영 워크로드에 적합
장기 유지보수 용이
고도 확장 가능

Apache Spark 로고

AutoML

자동화 ML의 “유리 상자” 접근 방식
오픈 소스 라이브러리 활용
데이터와 목표 예측에 기반해 모델 생성
추가 작업을 위한 생성 코드 노트북 제공

AutoML 예시

¹ https://www.databricks.com/product/automl

MLFlow

오픈 소스 프레임워크
엔드 투 엔드 머신러닝 수명주기 관리
추적, 평가, 관리, 배포
ML Runtime에 사전 설치됨!

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)

MLFlow 실험

여러 실행 정보를 한곳에 수집
실행을 정렬·비교
최적 모델 탐색 및 승격

MLFlow 실험

실습해 봅시다!

Databricks 개념