자동화된 MLOps 아키텍처의 피처 스토어

완전 자동화된 MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

머신러닝의 피처

$$

피처 엔지니어링

원천 데이터를 선택·가공·변환해 ML 알고리즘 입력용 피처를 생성합니다

작업자가 장비를 착용하고 종이와 톱니바퀴 옆에 서 있는 그림으로 데이터 처리를 상징.

$$

예:

  • 수치 변환
  • 범주 인코딩
  • 값 그룹화
  • 신규 피처 구성
완전 자동화된 MLOps

엔터프라이즈의 피처 엔지니어링

$$

배치·스트리밍 데이터 소스를 데이터 과학 팀이 소비하여 전형적인 피처 엔지니어링으로 변환하는 아키텍처 도식.

완전 자동화된 MLOps

엔터프라이즈의 피처 엔지니어링

$$

앞선 도식과 동일하나, 추가 팀이 자체 사일로에서 동일 데이터 소스를 소비하며 피처 엔지니어링 수행.

완전 자동화된 MLOps

엔터프라이즈의 피처 엔지니어링

$$

이전 그림의 연속. 세 번째 팀도 동일 데이터 소스를 소비하며 각자 사일로에서 피처 엔지니어링 수행.

완전 자동화된 MLOps

피처 스토어

$$

  • 중앙 집중형 피처 저장소

  • 자동화로 중복 작업 방지

  • 변환 표준화

  • 중앙 저장

  • 배치·실시간 서빙

$$

데이터 소스를 피처 스토어가 수집한다. 피처 스토어 내부에서 데이터가 변환되고, 생성된 피처가 저장되며, 마지막으로 피처를 서빙한다.

완전 자동화된 MLOps

피처 스토어 - 실험 가속화

$$

  • 실험 가속화
    • 실험용 데이터 추출
    • 피처 탐색
    • 동일 피처의 중복 정의 방지

$$

아키텍처 도식. 피처 스토어가 수평으로 놓여 있으며, 실험·개발 환경의 오케스트레이션된 실험에 피처를 제공한다.

완전 자동화된 MLOps

피처 스토어 - 지속적 학습

$$

  • 지속적 학습(CT)
    • 운영 자동 파이프라인용 데이터 추출

$$

아키텍처 도식. 피처 스토어가 수평으로 놓여 있으며, 스테이징/프로덕션 환경의 지속적 학습 컴포넌트에 데이터를 제공한다.

완전 자동화된 MLOps

피처 스토어 - 온라인 예측

$$

  • 온라인 예측
    • 사전 정의된 피처로 예측 서비스 실행

$$

아키텍처 도식. 피처 스토어가 수평으로 놓여 있으며, 시스템의 예측 서비스에 피처를 제공한다.

완전 자동화된 MLOps

피처 스토어 - 환경 대칭성

$$

  • 학습-서빙 왜곡 방지

$$

아키텍처 도식. 피처 스토어가 수평으로 놓여 있으며, 여러 환경에서 오케스트레이션된 파이프라인, 지속적 학습, 예측 서비스에 피처를 제공한다.

완전 자동화된 MLOps

Ayo berlatih!

완전 자동화된 MLOps

Preparing Video For Download...