Архитектурные компоненты сквозных фреймворков машинного обучения

Сквозное машинное обучение

Joshua Stapleton

Machine Learning Engineer

Хранилища признаков

Признаки

Отбор признаков
Конструирование признаков

Хранилище признаков

Центральный репозиторий признаков
Обеспечивает согласованность, устраняет дублирование
Позволяет делиться признаками и находить их
Стандартизирует преобразования и вычисление признаков

Жизненный цикл машинного обучения с добавленным хранилищем признаков

Feast

Популярный инструмент для создания хранилищ признаков
Обеспечивает единое управление, хранение, подачу и поиск признаков ML

Принципы

Определение и регистрация признаков в наборах признаков
Наборы признаков: группировка связанных признаков и метаданных

Пример: признаки сердечных заболеваний

Сущность «пациент»
Связанные признаки (холестерин, возраст, пол)

Хранилища признаков Feast, часть 1

from feast import Field, Entity, ValueType, FeatureStore
from feast.data_source import FileSource


# Define the entity, which in this case is a patient, and features
patient = Entity(name="patient", join_keys=["patient_id"])

chol = Field(name="chol", dtype=Float32)
age = Field(name="age", dtype=Int32)
...

# Define the data source
data_source = FileSource(
    path="/path_to_heart_disease_dataset.csv",
    event_timestamp_column="event_timestamp",
    created_timestamp_column="created")

Хранилища признаков Feast, часть 2

# ... continued
# Create a feature view of the data
heart_disease_fv = FeatureView(name="heart_disease", entities=[patient],
    schema=[cholesterol, ...], ttl=timedelta(days=1), input=data_source,)


# Create a FeatureStore object
store = FeatureStore(repo_path=".")


# Register the FeatureView
store.apply([patient, heart_disease_fv])

Реестры моделей

Реестр моделей

Системы контроля версий
Отслеживание разных версий модели
Аннотирование моделей
Мониторинг производительности во времени

Преимущества

Упорядоченность
Прозрачность
Воспроизводимость

Жизненный цикл машинного обучения с добавленным реестром моделей

Давайте потренируемся!

Сквозное машинное обучение