Feature store i en automatiserad MLOps-arkitektur

Fullt automatiserad MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Särdrag inom maskininlärning

$$

Särdragsframtagning

Välj, bearbeta och transformera rådata för att skapa särdrag som används som indata i ML-algoritmer

Bild på en person i kostym bredvid pappersark och kugghjul som symboliserar en dataprocess.

$$

Exempel:

  • Numeriska transformationer
  • Kodning av kategorier
  • Gruppering av värden
  • Konstruktion av nya särdrag
Fullt automatiserad MLOps

Särdragsframtagning i företagsmiljö

$$

Arkitekturfigur som visar datakällor, batch och streaming, som används av ett team av datavetare som transformerar data i en typisk särdragsframtagningsprocess.

Fullt automatiserad MLOps

Särdragsframtagning i företagsmiljö

$$

Samma arkitekturfigur som tidigare men med ett ytterligare team som konsumerar datakällorna och arbetar med särdragsframtagning i sin egen silostruktur.

Fullt automatiserad MLOps

Särdragsframtagning i företagsmiljö

$$

Fortsättning på föregående bild – ett tredje team konsumerar samma datakällor och arbetar med särdragsframtagning i sin egen silostruktur.

Fullt automatiserad MLOps

Feature store

$$

  • Centraliserat särdragslager

  • Undvik dubbelarbete med automatisering

  • Standardisering av transformationer

  • Centraliserad lagring

  • Särdragsservning för batch och realtid

$$

Arkitekturfigur där datakällor matas in i ett feature store. Inuti feature store transformeras data, de skapade särdragen lagras och feature store serverar slutligen de skapade särdragen.

Fullt automatiserad MLOps

Feature store – accelererad experimentering

$$

  • Accelererad experimentering
    • Datauttag för experiment
    • Särdragsupptäckt
    • Undviker flera definitioner för identiska särdrag

$$

Arkitekturfigur. Feature store ligger horisontellt och levererar särdrag till orkestrerade experiment i miljön för experimentering och utveckling.

Fullt automatiserad MLOps

Feature store – kontinuerlig träning

$$

  • Kontinuerlig träning (CT)
    • Datauttag för automatiserade pipelines i produktion

$$

Arkitekturfigur. Feature store ligger horisontellt och levererar data till komponenten för kontinuerlig träning i staging- och produktionsmiljöerna.

Fullt automatiserad MLOps

Feature store – onlineprediktioner

$$

  • Onlineprediktioner
    • Använd fördefinierade särdrag för prediktionstjänster

$$

Arkitekturfigur. Feature store ligger horisontellt och levererar särdrag till prediktionstjänsten i systemet.

Fullt automatiserad MLOps

Feature store – miljösymmetri

$$

  • Undviker tränings-servningsskevhet

$$

Arkitekturfigur. Feature store ligger horisontellt och levererar särdrag till orkestrerade pipelines, kontinuerlig träning och prediktionstjänster över olika miljöer.

Fullt automatiserad MLOps

Nu kör vi en övning!

Fullt automatiserad MLOps

Preparing Video For Download...