Sử dụng Databricks cho máy học

Các khái niệm về Databricks

Kevin Barlow

Data Practitioner

Vòng đời Máy học

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

Lập kế hoạch và chuẩn bị

Vòng đời ML - EDA

Lập kế hoạch cho máy học

Tôi có gì?

Khả dụng dữ liệu
Yêu cầu kinh doanh
Nhà khoa học/nhà phân tích dữ liệu

Nhóm dữ liệu và tài nguyên

Tôi muốn gì?

Trường hợp sử dụng
Tuân thủ pháp lý và bảo mật
Kết quả kinh doanh

Kết quả kinh doanh

ML Runtime

Mở rộng compute của Databricks
Tối ưu cho ứng dụng máy học
Bao gồm thư viện/khung phổ biến
- scikit-learn, SparkML, TensorFlow
- MLFlow
Hoạt động với quản lý thư viện trên cụm

ML Runtime của Databricks

Phân tích dữ liệu khám phá (EDA)

import pandas as pd
pd.describe(df)

# Spark DF
df.summary()

dbutils.data.summarize()

import bamboolib as bam
df

EDA trong Databricks

Bảng đặc trưng và kho đặc trưng

Dữ liệu thô

count	category	price	shelf_loc	rating
4	horror	12.50	end	3
6	romance	13.99	top	4.5
12	sci-fi	16.50	bottom	5
31	romance	9.99	bottom	3.5
23	fantasy	24.99	top	4
18	horror	19.99	end	2.5
19	cooking	17.50	end	4.5
7	fantasy	12.99	top	3
37	sci-fi	14.99	bottom	5

Bảng đặc trưng

count	category	price	shelf_loc	rating
4	1	12.50	1	3
6	2	13.99	2	4.5
12	3	16.50	3	5
31	2	9.99	3	3.5
23	4	24.99	2	4
18	1	19.99	1	2.5
19	5	17.50	1	4.5
7	4	12.99	2	3
37	3	14.99	3	5

Databricks Feature Store

Lưu trữ tập trung cho dữ liệu đã trích đặc trưng
Dễ tìm và tái sử dụng đặc trưng cho mô hình máy học
Theo dõi quan hệ nguồn–đích (lineage)

Kho đặc trưng Databricks

from databricks import feature_store

fs = feature_store.FeatureStoreClient()

fs.create_table(
    name=table_name,
    primary_keys=["wine_id"],
    df=features_df,
    schema=features_df.schema,
    description="wine features"
)

Vamos praticar!

Các khái niệm về Databricks