Le magasin de caractéristiques dans une architecture MLOps automatisée

MLOps entièrement automatisé

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Caractéristiques en apprentissage automatique

$$

Ingénierie des caractéristiques

Sélectionner, manipuler et transformer des sources brutes pour créer des caractéristiques utilisées en entrée de nos algorithmes de ML

Image d'un travailleur en complet à côté de feuilles et d'engrenages symbolisant un processus de données.

$$

Exemples :

  • Transformations numériques
  • Encodage des catégories
  • Regroupement de valeurs
  • Création de nouvelles caractéristiques
MLOps entièrement automatisé

Ingénierie des caractéristiques en entreprise

$$

Schéma d'architecture montrant des sources de données, par lots et en continu, consommées par une équipe de scientifiques des données transformant les données dans un processus typique d'ingénierie des caractéristiques.

MLOps entièrement automatisé

Ingénierie des caractéristiques en entreprise

$$

Le même schéma d'architecture que précédemment, avec une autre équipe consommant les mêmes sources dans son propre silo pour faire de l'ingénierie des caractéristiques.

MLOps entièrement automatisé

Ingénierie des caractéristiques en entreprise

$$

Suite de l'image précédente : une troisième équipe consomme les mêmes sources et travaille en silo sur l'ingénierie des caractéristiques.

MLOps entièrement automatisé

Le magasin de caractéristiques

$$

  • Référentiel centralisé de caractéristiques

  • Éviter les doublons grâce à l'automatisation

  • Normalisation des transformations

  • Stockage centralisé

  • Diffusion des caractéristiques par lots et en temps réel

$$

Schéma d'architecture où les sources de données alimentent un magasin de caractéristiques. À l'intérieur, les données sont transformées, les caractéristiques créées sont stockées, puis diffusées.

MLOps entièrement automatisé

Le magasin de caractéristiques – expérimentation accélérée

$$

  • Expérimentation accélérée
    • Extractions de données pour les expériences
    • Découverte de caractéristiques
    • Évite des définitions multiples pour des caractéristiques identiques

$$

Schéma d'architecture. Le magasin de caractéristiques est horizontal et fournit des caractéristiques à des expériences orchestrées dans l'environnement d'expérimentation et de développement.

MLOps entièrement automatisé

Le magasin de caractéristiques – entraînement continu

$$

  • Entraînement continu (CT)
    • Extractions de données pour des tuyaux automatisés en prod

$$

Schéma d'architecture. Le magasin de caractéristiques est horizontal. Il fournit des données au composant d'entraînement continu dans les environnements de préproduction/production.

MLOps entièrement automatisé

Le magasin de caractéristiques – prédictions en ligne

$$

  • Prédictions en ligne
    • Utiliser des caractéristiques prédéfinies pour les services de prédiction

$$

Schéma d'architecture. Le magasin de caractéristiques est horizontal. Il fournit des caractéristiques au service de prédiction du système.

MLOps entièrement automatisé

Le magasin de caractéristiques – symétrie des environnements

$$

  • Évite l'écart entraînement–service

$$

Schéma d'architecture. Le magasin de caractéristiques est horizontal. Il fournit des caractéristiques à des tuyaux orchestrés, à l'entraînement continu et aux services de prédiction, tous environnements confondus.

MLOps entièrement automatisé

Passons à la pratique !

MLOps entièrement automatisé

Preparing Video For Download...