Architekturkomponenten in End-to-End-ML-Frameworks

End-to-End Machine Learning

Joshua Stapleton

Machine Learning Engineer

Feature Stores

Features

Feature Selection
Feature Engineering

Feature Store

Zentrales Repository für Features
Sichert Konsistenz, reduziert Duplikate
Ermöglicht Teilen und Auffinden
Standardisiert Transformationen und Berechnungen

ML-Lebenszyklus mit Feature Store

Feast

Beliebtes Tool zur Implementierung von Feature Stores
Vereinheitlicht Verwaltung, Speicherung, Serving und Discovery von ML-Features

Prinzipien

Features mit Feature-Sets definieren und registrieren
Feature-Sets: Gruppen verwandter Features + Metadaten

Beispiel: Herzkrankheits-Features

Patienten-Entität
Zugehörige Features (Cholesterin, Alter, Geschlecht)

Feast Feature Stores Teil 1

from feast import Field, Entity, ValueType, FeatureStore
from feast.data_source import FileSource


# Define the entity, which in this case is a patient, and features
patient = Entity(name="patient", join_keys=["patient_id"])

chol = Field(name="chol", dtype=Float32)
age = Field(name="age", dtype=Int32)
...

# Define the data source
data_source = FileSource(
    path="/path_to_heart_disease_dataset.csv",
    event_timestamp_column="event_timestamp",
    created_timestamp_column="created")

Feast Feature Stores Teil 2

# ... continued
# Create a feature view of the data
heart_disease_fv = FeatureView(name="heart_disease", entities=[patient],
    schema=[cholesterol, ...], ttl=timedelta(days=1), input=data_source,)


# Create a FeatureStore object
store = FeatureStore(repo_path=".")


# Register the FeatureView
store.apply([patient, heart_disease_fv])

Modell-Registries

Modell-Registry

Versionskontrollsysteme
Verfolge verschiedene Modellversionen
Modelle annotieren
Performance über die Zeit tracken

Vorteile

Organisation
Transparenz
Reproduzierbarkeit

ML-Lebenszyklus mit Modell-Registry

Lass uns üben!

End-to-End Machine Learning