Architectuurcomponenten in end-to-end machine learning-frameworks

End-to-End Machine Learning

Joshua Stapleton

Machine Learning Engineer

Feature stores

Features

Featureselectie
Feature-engineering

Feature store

Centrale opslag voor features
Borgt consistentie, vermindert duplicatie
Maakt delen en vinden mogelijk
Standaardiseert transformaties en berekeningen van features

Levenscyclus van machine learning met feature store toegevoegd

Feast

Populaire tool om feature stores te implementeren
Biedt geïntegreerd beheer, opslag, serving en ontdekking van ML-features

Principes

Definieer en registreer features met featuresets
Featuresets: groepering van gerelateerde features + metadata

Voorbeeld: hartziekte-features

Patiënt-entiteit
Bijbehorende features (cholesterol, leeftijd, geslacht)

Feast-feature stores, deel 1

from feast import Field, Entity, ValueType, FeatureStore
from feast.data_source import FileSource


# Define the entity, which in this case is a patient, and features
patient = Entity(name="patient", join_keys=["patient_id"])

chol = Field(name="chol", dtype=Float32)
age = Field(name="age", dtype=Int32)
...

# Define the data source
data_source = FileSource(
    path="/path_to_heart_disease_dataset.csv",
    event_timestamp_column="event_timestamp",
    created_timestamp_column="created")

Feast-feature stores, deel 2

# ... continued
# Create a feature view of the data
heart_disease_fv = FeatureView(name="heart_disease", entities=[patient],
    schema=[cholesterol, ...], ttl=timedelta(days=1), input=data_source,)


# Create a FeatureStore object
store = FeatureStore(repo_path=".")


# Register the FeatureView
store.apply([patient, heart_disease_fv])

Modelregisters

Model registry

Versiebeheersystemen
Houd verschillende modelversies bij
Modelleer annotaties
Volg prestaties in de tijd

Voordelen

Organisatie
Transparantie
Reproduceerbaarheid

Levenscyclus van machine learning met model registry toegevoegd

Laten we oefenen!

End-to-End Machine Learning