Componentes de arquitetura em frameworks de ML de ponta a ponta

Machine Learning de ponta a ponta

Joshua Stapleton

Machine Learning Engineer

Feature stores

Features

Seleção de features
Engenharia de features

Feature store

Repositório central de features
Garante consistência, reduz duplicação
Permite compartilhamento e descoberta
Padroniza transformações e cálculos de features

Imagem do ciclo de vida de ML com feature store

Feast

Ferramenta popular para implementar feature stores
Fornece gestão, armazenamento, serving e descoberta unificados de features de ML

Princípios

Definir e registrar features com conjuntos de features
Conjuntos de features: grupo de features relacionadas + metadados

Exemplo: features de doença cardíaca

Entidade paciente
Features associadas (colesterol, idade, sexo)

Feast: feature stores parte 1

from feast import Field, Entity, ValueType, FeatureStore
from feast.data_source import FileSource


# Define the entity, which in this case is a patient, and features
patient = Entity(name="patient", join_keys=["patient_id"])

chol = Field(name="chol", dtype=Float32)
age = Field(name="age", dtype=Int32)
...

# Define the data source
data_source = FileSource(
    path="/path_to_heart_disease_dataset.csv",
    event_timestamp_column="event_timestamp",
    created_timestamp_column="created")

Feast: feature stores parte 2

# ... continued
# Create a feature view of the data
heart_disease_fv = FeatureView(name="heart_disease", entities=[patient],
    schema=[cholesterol, ...], ttl=timedelta(days=1), input=data_source,)


# Create a FeatureStore object
store = FeatureStore(repo_path=".")


# Register the FeatureView
store.apply([patient, heart_disease_fv])

Registros de modelos

Registro de modelos

Sistemas de controle de versão
Acompanham versões de modelos
Anotam modelos
Monitoram desempenho ao longo do tempo

Benefícios

Organização
Transparência
Reprodutibilidade

Imagem do ciclo de vida de ML com registro de modelos

Vamos praticar!

Machine Learning de ponta a ponta