O feature store em uma arquitetura MLOps automatizada

MLOps totalmente automatizado

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Features em machine learning

$$

Engenharia de features

Selecionar, manipular e transformar dados brutos para criar features usadas como entrada nos nossos algoritmos de ML

Imagem de uma pessoa de terno ao lado de folhas e engrenagens, simbolizando um processo de dados.

$$

Exemplos:

  • Transformações numéricas
  • Codificação de categorias
  • Agrupamento de valores
  • Criação de novas features
MLOps totalmente automatizado

Engenharia de features na empresa

$$

Figura de arquitetura mostrando fontes de dados, em lote e streaming, consumidas por um time de cientistas de dados que transforma os dados em um processo típico de engenharia de features.

MLOps totalmente automatizado

Engenharia de features na empresa

$$

A mesma figura de arquitetura anterior, mas com um time adicional consumindo as fontes de dados e trabalhando em seu próprio silo com engenharia de features.

MLOps totalmente automatizado

Engenharia de features na empresa

$$

Continuação da figura anterior: um terceiro time consome as mesmas fontes de dados e trabalha com engenharia de features em seu próprio silo.

MLOps totalmente automatizado

O feature store

$$

  • Repositório centralizado de features

  • Evita retrabalho com automação

  • Padronização das transformações

  • Armazenamento centralizado

  • Servir features em lote e em tempo real

$$

Figura de arquitetura onde as fontes de dados são consumidas por um feature store. No feature store, os dados são transformados, as features criadas são armazenadas e, por fim, também são servidas.

MLOps totalmente automatizado

O feature store - Experimentação acelerada

$$

  • Experimentação acelerada
    • Extrações de dados para experimentos
    • Descoberta de features
    • Evita múltiplas definições de features idênticas

$$

Figura de arquitetura. O feature store fica na horizontal e fornece features para experimentos orquestrados no ambiente de Experimentação e Desenvolvimento.

MLOps totalmente automatizado

O feature store - Treinamento contínuo

$$

  • Continuous Training (CT)
    • Extrações de dados para pipelines automatizados em produção

$$

Figura de arquitetura. O feature store fica na horizontal. Ele entrega dados para o componente de treinamento contínuo nos ambientes de staging/produção.

MLOps totalmente automatizado

O feature store - Previsões online

$$

  • Previsões online
    • Usar features predefinidas em serviços de predição

$$

Figura de arquitetura. O feature store fica na horizontal. Ele fornece features para o serviço de predição no sistema.

MLOps totalmente automatizado

O feature store - Simetria entre ambientes

$$

  • Evita o desvio entre treinamento e serviço

$$

Figura de arquitetura. O feature store fica na horizontal. Ele fornece features para pipelines orquestrados, treinamento contínuo e serviços de predição em todos os ambientes.

MLOps totalmente automatizado

Vamos praticar!

MLOps totalmente automatizado

Preparing Video For Download...