Databricks로 머신 러닝 활용

Databricks 개념

Kevin Barlow

Data Practitioner

머신 러닝 라이프사이클

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

기획 및 준비

ML 라이프사이클 - EDA

머신 러닝 기획

무엇이 있습니까?

데이터 가용성
비즈니스 요건
데이터 사이언티스트/애널리스트

데이터 팀과 리소스

무엇이 필요합니까?

활용 사례
법적·보안 컴플라이언스
비즈니스 성과

비즈니스 성과

ML 런타임

Databricks 컴퓨트의 확장
머신 러닝에 최적화
주요 라이브러리·프레임워크 포함
- scikit-learn, SparkML, TensorFlow
- MLFlow
클러스터 라이브러리 관리와 연동

Databricks ML 런타임

탐색적 데이터 분석

import pandas as pd
pd.describe(df)

# Spark DF
df.summary()

dbutils.data.summarize()

import bamboolib as bam
df

Databricks의 EDA

피처 테이블과 피처 스토어

원시 데이터

count	category	price	shelf_loc	rating
4	horror	12.50	end	3
6	romance	13.99	top	4.5
12	sci-fi	16.50	bottom	5
31	romance	9.99	bottom	3.5
23	fantasy	24.99	top	4
18	horror	19.99	end	2.5
19	cooking	17.50	end	4.5
7	fantasy	12.99	top	3
37	sci-fi	14.99	bottom	5

피처 테이블

count	category	price	shelf_loc	rating
4	1	12.50	1	3
6	2	13.99	2	4.5
12	3	16.50	3	5
31	2	9.99	3	3.5
23	4	24.99	2	4
18	1	19.99	1	2.5
19	5	17.50	1	4.5
7	4	12.99	2	3
37	3	14.99	3	5

Databricks Feature Store

피처화된 데이터셋의 중앙 저장소
ML 모델에서 피처를 쉽게 탐색·재사용
상·하류 계보 추적

Databricks Feature Store

from databricks import feature_store

fs = feature_store.FeatureStoreClient()

fs.create_table(
    name=table_name,
    primary_keys=["wine_id"],
    df=features_df,
    schema=features_df.schema,
    description="wine features"
)

¡Vamos a practicar!

Databricks 개념