使用 Databricks 進行機器學習

Databricks 概念

Kevin Barlow

Data Practitioner

機器學習生命週期

機器學習生命週期

1 https://www.datacamp.com/blog/machine-learning-lifecycle-explained
Databricks 概念

規劃與準備

ML 生命週期－EDA

Databricks 概念

機器學習規劃

我有什麼？

  1. 資料可用性
  2. 商業需求
  3. 資料科學家／資料分析師

資料團隊與資源

我想要什麼？

  1. 使用情境
  2. 法規與資安合規
  3. 商業成果

商業成果

Databricks 概念

ML Runtime

  • Databricks 計算的延伸
  • 為機器學習應用最佳化
  • 內建常用函式庫與框架
    • scikit-learn、SparkML、TensorFlow
    • MLFlow
  • 可搭配叢集函式庫管理

Databricks ML Runtime

Databricks 概念

探索式資料分析

import pandas as pd
pd.describe(df)

# Spark DF
df.summary()

dbutils.data.summarize()

import bamboolib as bam
df

Databricks 中的 EDA

Databricks 概念

特徵表與特徵儲存庫

原始資料
count category price shelf_loc rating
4 horror 12.50 end 3
6 romance 13.99 top 4.5
12 sci-fi 16.50 bottom 5
31 romance 9.99 bottom 3.5
23 fantasy 24.99 top 4
18 horror 19.99 end 2.5
19 cooking 17.50 end 4.5
7 fantasy 12.99 top 3
37 sci-fi 14.99 bottom 5
特徵表
count category price shelf_loc rating
4 1 12.50 1 3
6 2 13.99 2 4.5
12 3 16.50 3 5
31 2 9.99 3 3.5
23 4 24.99 2 4
18 1 19.99 1 2.5
19 5 17.50 1 4.5
7 4 12.99 2 3
37 3 14.99 3 5
Databricks 概念

Databricks Feature Store

  • 特徵化資料集的集中儲存
  • 可輕鬆發現並重複使用模型特徵
  • 支援上游與下游血緣追蹤

Databricks Feature Store

from databricks import feature_store

fs = feature_store.FeatureStoreClient()

fs.create_table(
    name=table_name,
    primary_keys=["wine_id"],
    df=features_df,
    schema=features_df.schema,
    description="wine features"
)
Databricks 概念

一起來練習吧！

Databricks 概念

Preparing Video For Download...