Utiliser Databricks pour le Machine Learning

Concepts de Databricks

Kevin Barlow

Data Practitioner

Cycle de vie du Machine Learning

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

Planification et préparation

Cycle ML - EDA

Planifier le Machine Learning

Qu'est-ce qui est en place ?

Disponibilité des données
Exigences d'affaires
Scientifiques/analystes des données

Équipe et ressources de données

Qu'est-ce qui est visé ?

Cas d'utilisation
Conformité juridique et sécurité
Résultats d'affaires

Résultats d'affaires

ML Runtime

Extension de l'infrastructure Databricks
Optimisée pour les applications de Machine Learning
Inclut les bibliothèques et cadres les plus courants
- scikit-learn, SparkML, TensorFlow
- MLFlow
Fonctionne avec la gestion des bibliothèques de grappes

Databricks ML Runtime

Analyse exploratoire des données

import pandas as pd
pd.describe(df)

# Spark DF
df.summary()

dbutils.data.summarize()

import bamboolib as bam
df

EDA dans Databricks

Tables de caractéristiques et magasins de caractéristiques

Données brutes

count	category	price	shelf_loc	rating
4	horror	12.50	end	3
6	romance	13.99	top	4.5
12	sci-fi	16.50	bottom	5
31	romance	9.99	bottom	3.5
23	fantasy	24.99	top	4
18	horror	19.99	end	2.5
19	cooking	17.50	end	4.5
7	fantasy	12.99	top	3
37	sci-fi	14.99	bottom	5

Table de caractéristiques

count	category	price	shelf_loc	rating
4	1	12.50	1	3
6	2	13.99	2	4.5
12	3	16.50	3	5
31	2	9.99	3	3.5
23	4	24.99	2	4
18	1	19.99	1	2.5
19	5	17.50	1	4.5
7	4	12.99	2	3
37	3	14.99	3	5

Magasin de caractéristiques Databricks

Stockage centralisé pour des jeux de données featurisés
Découvrir et réutiliser facilement des caractéristiques pour les modèles de Machine Learning
Traçabilité amont et aval

Databricks Feature Store

from databricks import feature_store

fs = feature_store.FeatureStoreClient()

fs.create_table(
    name=table_name,
    primary_keys=["wine_id"],
    df=features_df,
    schema=features_df.schema,
    description="wine features"
)

Passons à la pratique !

Concepts de Databricks