Komponenty architektury kompleksowych frameworków ML

End-to-End Machine Learning

Joshua Stapleton

Machine Learning Engineer

Feature stores

Cechy

Selekcja cech
Inżynieria cech

Feature store

Centralne repozytorium cech
Zapewnia spójność, redukuje duplikaty
Umożliwia udostępnianie i odkrywanie cech
Standaryzuje transformacje i obliczenia cech

Cykl życia ML z dodanym feature store

Feast

Popularne narzędzie do implementacji feature stores
Zapewnia ujednolicone zarządzanie, przechowywanie, serwowanie i odkrywanie cech ML

Zasady

Definiowanie i rejestrowanie cech za pomocą zbiorów cech
Zbiory cech: grupowanie powiązanych cech + metadane

Przykład: cechy dla chorób serca

Encja pacjenta
Powiązane cechy (cholesterol, wiek, płeć)

Feast feature stores – część 1

from feast import Field, Entity, ValueType, FeatureStore
from feast.data_source import FileSource


# Define the entity, which in this case is a patient, and features
patient = Entity(name="patient", join_keys=["patient_id"])

chol = Field(name="chol", dtype=Float32)
age = Field(name="age", dtype=Int32)
...

# Define the data source
data_source = FileSource(
    path="/path_to_heart_disease_dataset.csv",
    event_timestamp_column="event_timestamp",
    created_timestamp_column="created")

Feast feature stores – część 2

# ... continued
# Create a feature view of the data
heart_disease_fv = FeatureView(name="heart_disease", entities=[patient],
    schema=[cholesterol, ...], ttl=timedelta(days=1), input=data_source,)


# Create a FeatureStore object
store = FeatureStore(repo_path=".")


# Register the FeatureView
store.apply([patient, heart_disease_fv])

Rejestry modeli

Rejestr modeli

Systemy kontroli wersji
Śledzenie różnych wersji modelu
Adnotowanie modeli
Monitorowanie wydajności w czasie

Korzyści

Organizacja
Przejrzystość
Reprodukowalność

Cykl życia ML z dodanym rejestrem modeli

Czas na ćwiczenia!

End-to-End Machine Learning