Il feature store in un’architettura MLOps automatizzata

MLOps completamente automatizzato

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Feature nel machine learning

$$

Feature Engineering

Seleziona, manipola e trasforma dati grezzi per creare feature usate come input per gli algoritmi di ML

Immagine di un lavoratore in tuta accanto a fogli e ingranaggi che simboleggiano un processo dati.

$$

Esempi:

  • Trasformazioni numeriche
  • Encoding di categorie
  • Raggruppamento di valori
  • Costruzione di nuove feature
MLOps completamente automatizzato

Feature engineering in azienda

$$

Figura architetturale con sorgenti dati batch e streaming, consumate da un team di data scientist che trasforma i dati in un tipico processo di feature engineering.

MLOps completamente automatizzato

Feature engineering in azienda

$$

La stessa figura architetturale di prima, ma con un team aggiuntivo che consuma le sorgenti dati e lavora nel proprio silo al feature engineering.

MLOps completamente automatizzato

Feature engineering in azienda

$$

Continuazione dell’immagine precedente: un terzo team consuma le stesse sorgenti e fa feature engineering nel proprio silo.

MLOps completamente automatizzato

Il feature store

$$

  • Repository centralizzato di feature

  • Evita duplicazioni con l’automazione

  • Standardizzazione delle trasformazioni

  • Archiviazione centralizzata

  • Serving di feature batch e real-time

$$

Figura architetturale: le sorgenti dati alimentano un feature store. Nel feature store i dati vengono trasformati, le feature create vengono archiviate e poi servite.

MLOps completamente automatizzato

Il feature store - Sperimentazione accelerata

$$

  • Sperimentazione accelerata
    • Estrazioni dati per esperimenti
    • Scoperta delle feature
    • Evita definizioni multiple della stessa feature

$$

Figura architetturale. Il feature store è orizzontale e fornisce feature a esperimenti orchestrati nell’ambiente di Sperimentazione e Sviluppo.

MLOps completamente automatizzato

Il feature store - Continuous training

$$

  • Continuous Training (CT)
    • Estrazioni dati per pipeline automatiche in prod

$$

Figura architetturale. Il feature store è orizzontale e fornisce dati al componente di continuous training negli ambienti staging/production.

MLOps completamente automatizzato

Il feature store - Predizioni online

$$

  • Predizioni online
    • Usa feature predefinite per i servizi di prediction

$$

Figura architetturale. Il feature store è orizzontale e fornisce feature al servizio di prediction del sistema.

MLOps completamente automatizzato

Il feature store - Simmetria tra ambienti

$$

  • Evita il training-serving skew

$$

Figura architetturale. Il feature store è orizzontale. Fornisce feature a pipeline orchestrate, continuous training e servizi di prediction tra ambienti.

MLOps completamente automatizzato

Passiamo alla pratica!

MLOps completamente automatizzato

Preparing Video For Download...