Orchestrazione in MLOps

MLOps completamente automatizzato

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Un componente chiave nei sistemi MLOps

Immagine dell’architettura di riferimento MLOps con due elementi evidenziati: esperimenti orchestrati in sviluppo e pipeline automatizzata in produzione.

Modularità e riuso

Figura con due pipeline ML, una sopra e una sotto. La superiore è in sviluppo e sperimentazione, l’inferiore in produzione.

Orchestrazione e automazione

Le pipeline ML si usano in:

Sviluppo e sperimentazione

Figura di un componente: esperimento orchestrato.

Produzione

Figura di una tipica pipeline ML automatizzata.

DAG (grafi aciclici diretti) in MLOps

Rappresentazioni grafiche delle pipeline
Step della pipeline come nodi
Dipendenze tra step come archi

Immagine di un semplice DAG con step interconnessi in una pipeline ML.

Cos’è l’orchestrazione in MLOps?

Gestire e automatizzare i flussi di task

Scheduling e monitoraggio dei task

Gestire dipendenze e flussi di dati

Pipeline ML - sviluppo e sperimentazione

Figura di una pipeline ML orchestrata negli ambienti di sviluppo e sperimentazione. La pipeline è avviata da un data scientist e orchestrata da un componente orchestrator.

Gestisce i task end-to-end nel training
Flusso corretto, tracciamento e logging
Sperimentazione in parallelo

Pipeline ML - produzione

Figura di una pipeline ML automatizzata in produzione. La pipeline è avviata da un trigger automatico e orchestrata da un componente orchestrator.

Aiuta ad automatizzare il deployment del modello
Gestisce ed esegue gli step della pipeline
Deployment coerenti e affidabili

Passiamo alla pratica!

MLOps completamente automatizzato