Databricks का उपयोग machine learning के लिए

Databricks कॉन्सेप्ट्स

Kevin Barlow

Data Practitioner

Machine Learning जीवनचक्र

¹ https://www.datacamp.com/blog/machine-learning-lifecycle-explained

योजना और तैयारी

ML जीवनचक्र - EDA

Machine learning की योजना

मेरे पास क्या है?

डेटा उपलब्धता
बिज़नेस आवश्यकताएँ
डेटा साइंटिस्ट्स/डेटा एनालिस्ट्स

डेटा टीम और संसाधन

मुझे क्या चाहिए?

उपयोग के मामले
कानूनी और सुरक्षा अनुपालन
बिज़नेस परिणाम

बिज़नेस परिणाम

ML Runtime

Databricks compute का विस्तार
Machine learning ऐप्स के लिए optimized
सामान्य libraries और frameworks शामिल
- scikit-learn, SparkML, TensorFlow
- MLFlow
क्लस्टर लाइब्रेरी मैनेजमेंट के साथ काम करता है

Databricks ML Runtime

Exploratory Data Analysis

import pandas as pd
pd.describe(df)

# Spark DF
df.summary()

dbutils.data.summarize()

import bamboolib as bam
df

Databricks में EDA

फीचर टेबल्स और फीचर स्टोर्स

कच्चा डेटा

count	category	price	shelf_loc	rating
4	horror	12.50	end	3
6	romance	13.99	top	4.5
12	sci-fi	16.50	bottom	5
31	romance	9.99	bottom	3.5
23	fantasy	24.99	top	4
18	horror	19.99	end	2.5
19	cooking	17.50	end	4.5
7	fantasy	12.99	top	3
37	sci-fi	14.99	bottom	5

फीचर टेबल

count	category	price	shelf_loc	rating
4	1	12.50	1	3
6	2	13.99	2	4.5
12	3	16.50	3	5
31	2	9.99	3	3.5
23	4	24.99	2	4
18	1	19.99	1	2.5
19	5	17.50	1	4.5
7	4	12.99	2	3
37	3	14.99	3	5

Databricks Feature Store

फीचराइज़्ड डेटासेट्स का केंद्रीकृत स्टोरेज
Machine learning मॉडलों के लिए फीचर्स आसानी से खोजें और पुन: उपयोग करें
अपस्ट्रीम और डाउनस्ट्रीम लीनिएज

Databricks Feature Store

from databricks import feature_store

fs = feature_store.FeatureStoreClient()

fs.create_table(
    name=table_name,
    primary_keys=["wine_id"],
    df=features_df,
    schema=features_df.schema,
    description="wine features"
)

अभ्यास करते हैं!

Databricks कॉन्सेप्ट्स