De feature store in een geautomatiseerde MLOps-architectuur

Volledig geautomatiseerde MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Features in machine learning

$$

Feature Engineering

Selecteer, bewerk en transformeer ruwe databronnen tot features als input voor ML-algoritmes

Foto van een werknemer in een pak naast papieren en tandwielen die een dataproces symboliseren.

$$

Voorbeelden:

  • Numerieke transformaties
  • Categorie-encoding
  • Groeperen van waarden
  • Nieuwe features construeren
Volledig geautomatiseerde MLOps

Feature engineering in de onderneming

$$

Architectuurdiagram met batch- en streamingdatabronnen die worden gebruikt door een team van data scientists dat de data transformeert in een typische feature-engineeringworkflow.

Volledig geautomatiseerde MLOps

Feature engineering in de onderneming

$$

Hetzelfde architectuurdiagram als hiervoor, maar met een extra team dat de databronnen gebruikt en in zijn eigen silo aan feature engineering werkt.

Volledig geautomatiseerde MLOps

Feature engineering in de onderneming

$$

Vervolg van de vorige afbeelding: een derde team gebruikt dezelfde databronnen en werkt in zijn eigen silo aan feature engineering.

Volledig geautomatiseerde MLOps

De feature store

$$

  • Gecentraliseerde featurerepository

  • Voorkom dubbel werk met automatisering

  • Gestandaardiseerde transformaties

  • Gecentraliseerde opslag

  • Feature serving voor batch en real-time

$$

Een architectuurdiagram waar databronnen worden ingelezen in een feature store. In de feature store worden data getransformeerd, features opgeslagen en daarna aangeboden.

Volledig geautomatiseerde MLOps

De feature store - Sneller experimenteren

$$

  • Sneller experimenteren
    • Data-extracties voor experimenten
    • Featurediscovery
    • Voorkomt meerdere definities van dezelfde features

$$

Een architectuurdiagram. De feature store ligt horizontaal en levert features aan georkestreerde experimenten in de Experimentatie- en Ontwikkelomgeving.

Volledig geautomatiseerde MLOps

De feature store - Continuous training

$$

  • Continuous Training (CT)
    • Data-extracties voor geautomatiseerde pipelines in productie

$$

Architectuurdiagram. De feature store ligt horizontaal en levert data aan de continuous training-component in de staging-/productieomgevingen.

Volledig geautomatiseerde MLOps

De feature store - Online voorspellingen

$$

  • Online voorspellingen
    • Gebruik vooraf gedefinieerde features voor prediction services

$$

Architectuurdiagram. De feature store ligt horizontaal en levert features aan de predictieservice in het systeem.

Volledig geautomatiseerde MLOps

De feature store - Omgevingssymmetrie

$$

  • Voorkomt training-serving skew

$$

Een architectuurdiagram. De feature store ligt horizontaal en levert features aan georkestreerde pipelines, continuous training en predictieservices over omgevingen heen.

Volledig geautomatiseerde MLOps

Laten we oefenen!

Volledig geautomatiseerde MLOps

Preparing Video For Download...