Lakehouse AI 개요

Databricks 개념

Kevin Barlow

Data Practitioner

Lakehouse AI

Lakehouse 상위 수준 다이어그램

왜 AI/ML에 Lakehouse인가?

  1. Delta Lake의 신뢰할 수 있는 데이터와 파일
  2. 고도의 확장 가능한 컴퓨팅
  3. 개방형 표준·라이브러리·프레임워크
  4. 다른 데이터 팀과의 통합
1 https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html
Databricks 개념

MLOps 라이프사이클

머신러닝 라이프사이클 다이어그램

Databricks 개념

Lakehouse의 MLOps

DataOps

DataOps

  • 다양한 소스의 데이터 통합(AutoLoader)
  • 데이터 정제·사용 가능한 형식으로 변환(Delta Live Tables)
  • 모델용 유용한 피처 생성(Feature Store)
Databricks 개념

Lakehouse의 MLOps

ModelOps

ModelOps

  • 다양한 모델 개발·학습(Notebooks)
  • ML 템플릿과 자동화(AutoML)
  • 파라미터·지표·실험 추적(MLFlow)
  • 모델 중앙화 및 소비(Model Registry)
Databricks 개념

Lakehouse의 MLOps

DevOps

DevOps

  • 모델 접근 거버넌스(Unity Catalog)
  • 모델 버전 CI/CD(Model Registry)
  • 모델 배포·서빙(Serving Endpoints)
Databricks 개념

복습합시다!

Databricks 개념

Preparing Video For Download...