Feature store într-o arhitectură MLOps automatizată

MLOps complet automatizat

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Caracteristici în învățarea automată

$$

Ingineria caracteristicilor

Selectarea, manipularea și transformarea surselor de date brute pentru a crea caracteristici utilizate ca intrări pentru algoritmii de ML

Imagine cu un angajat în costum lângă foi de hârtie și roți dințate simbolizând un proces de date.

$$

Exemple:

  • Transformări numerice
  • Codificarea categoriilor
  • Gruparea valorilor
  • Construirea de noi caracteristici
MLOps complet automatizat

Ingineria caracteristicilor în companii

$$

Figură de arhitectură cu surse de date batch și streaming, consumate de o echipă de oameni de știință a datelor care transformă datele într-un proces tipic de inginerie a caracteristicilor.

MLOps complet automatizat

Ingineria caracteristicilor în companii

$$

Aceeași figură de arhitectură, cu o echipă suplimentară care consumă sursele de date lucrând în propriul siloz cu ingineria caracteristicilor.

MLOps complet automatizat

Ingineria caracteristicilor în companii

$$

Continuarea imaginii anterioare, o a treia echipă consumă aceleași surse de date lucrând cu ingineria caracteristicilor în propriul siloz.

MLOps complet automatizat

Feature store

$$

  • Depozit centralizat de caracteristici

  • Evitarea duplicării muncii prin automatizare

  • Standardizarea transformărilor

  • Stocare centralizată

  • Servire caracteristici pentru batch și timp real

$$

Figură de arhitectură în care sursele de date sunt consumate într-un feature store. În interior, datele sunt transformate, caracteristicile create sunt stocate, iar feature store-ul le și servește.

MLOps complet automatizat

Feature store - Experimentare accelerată

$$

  • Experimentare accelerată
    • Extragerea datelor pentru experimente
    • Descoperirea caracteristicilor
    • Evitarea definițiilor multiple pentru caracteristici identice

$$

Figură de arhitectură. Feature store-ul este dispus orizontal și furnizează caracteristici experimentelor orchestrate din mediul de Experimentare și Dezvoltare.

MLOps complet automatizat

Feature store - Antrenament continuu

$$

  • Antrenament Continuu (CT)
    • Extragerea datelor pentru pipeline-uri automate în producție

$$

Figură de arhitectură. Feature store-ul este dispus orizontal și furnizează date componentei de antrenament continuu din mediile de staging/producție.

MLOps complet automatizat

Feature store - Predicții online

$$

  • Predicții online
    • Utilizarea caracteristicilor predefinite pentru servicii de predicție

$$

Figură de arhitectură. Feature store-ul este dispus orizontal și furnizează caracteristici serviciului de predicție din sistem.

MLOps complet automatizat

Feature store - Simetria mediilor

$$

  • Evitarea distorsiunii antrenament-servire

$$

Figură de arhitectură. Feature store-ul este dispus orizontal și furnizează caracteristici pipeline-urilor orchestrate, antrenamentului continuu și serviciilor de predicție din toate mediile.

MLOps complet automatizat

Să exersăm!

MLOps complet automatizat

Preparing Video For Download...