Архітектурні компоненти у наскрізних фреймворках машинного навчання

End-to-End Machine Learning

Joshua Stapleton

Machine Learning Engineer

Feature store

Ознаки (features)

Відбір ознак
Інженерія ознак

Feature store

Центральне сховище ознак
Забезпечує узгодженість, зменшує дублювання
Дозволяє ділитися та знаходити ознаки
Стандартизує перетворення й обчислення ознак

Зображення життєвого циклу ML із доданим feature store

Feast

Популярний інструмент для реалізації feature store
Надає уніфіковане керування, зберігання, подання та пошук ознак для ML

Принципи

Визначайте й реєструйте ознаки у наборах ознак
Набори ознак: групування повʼязаних ознак + метадані

Приклад: ознаки для серцевих хвороб

Сутність «пацієнт»
Повʼязані ознаки (холестерин, вік, стать)

Feast: feature store, частина 1

from feast import Field, Entity, ValueType, FeatureStore
from feast.data_source import FileSource


# Define the entity, which in this case is a patient, and features
patient = Entity(name="patient", join_keys=["patient_id"])

chol = Field(name="chol", dtype=Float32)
age = Field(name="age", dtype=Int32)
...

# Define the data source
data_source = FileSource(
    path="/path_to_heart_disease_dataset.csv",
    event_timestamp_column="event_timestamp",
    created_timestamp_column="created")

Feast: feature store, частина 2

# ... continued
# Create a feature view of the data
heart_disease_fv = FeatureView(name="heart_disease", entities=[patient],
    schema=[cholesterol, ...], ttl=timedelta(days=1), input=data_source,)


# Create a FeatureStore object
store = FeatureStore(repo_path=".")


# Register the FeatureView
store.apply([patient, heart_disease_fv])

Реєстри моделей

Реєстр моделей

Системи керування версіями
Відстежують різні версії моделі
Додають анотації до моделей
Відстежують продуктивність з часом

Переваги

Організованість
Прозорість
Відтворюваність

Зображення життєвого циклу ML із доданим реєстром моделей

Давайте потренуємось!

End-to-End Machine Learning