Feature store v automatizované architektuře MLOps

Plně automatizované MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Příznaky ve strojovém učení

$$

Feature Engineering

Výběr, úprava a transformace surových datových zdrojů za účelem vytvoření příznaků pro ML algoritmy

Obrázek pracovníka v obleku u papírů a ozubených kol symbolizující datový proces.

$$

Příklady:

  • Numerické transformace
  • Kódování kategorií
  • Seskupování hodnot
  • Tvorba nových příznaků
Plně automatizované MLOps

Feature engineering v podniku

$$

Architekturní schéma zobrazující dávkové a streamovací datové zdroje zpracovávané týmem datových vědců v typickém procesu feature engineeringu.

Plně automatizované MLOps

Feature engineering v podniku

$$

Stejné architekturní schéma jako dříve, ale s dalším týmem zpracovávajícím datové zdroje ve vlastním silu s feature engineeringem.

Plně automatizované MLOps

Feature engineering v podniku

$$

Pokračování předchozího schématu, tentokrát s třetím týmem zpracovávajícím stejné datové zdroje ve vlastním silu s feature engineeringem.

Plně automatizované MLOps

Feature store

$$

  • Centralizované úložiště příznaků

  • Automatizace zabraňuje duplicitní práci

  • Standardizace transformací

  • Centralizované úložiště

  • Poskytování příznaků pro dávkové i real-time zpracování

$$

Architekturní schéma, kde jsou datové zdroje zpracovány do feature storu. Uvnitř feature storu jsou data transformována, vytvořené příznaky jsou uloženy a feature store je dále poskytuje.

Plně automatizované MLOps

Feature store – urychlení experimentování

$$

  • Urychlení experimentování
    • Extrakce dat pro experimenty
    • Objevování příznaků
    • Zabraňuje vícenásobným definicím stejných příznaků

$$

Architekturní schéma. Feature store leží horizontálně a dodává příznaky do orchestrovaných experimentů v prostředí pro experimentování a vývoj.

Plně automatizované MLOps

Feature store – kontinuální trénování

$$

  • Kontinuální trénování (CT)
    • Extrakce dat pro automatizované pipeline v produkci

$$

Architekturní schéma. Feature store leží horizontálně. Dodává data do komponenty kontinuálního trénování v prostředích staging/produkce.

Plně automatizované MLOps

Feature store – online predikce

$$

  • Online predikce
    • Použití předdefinovaných příznaků pro predikční služby

$$

Architekturní schéma. Feature store leží horizontálně. Dodává příznaky predikční službě v systému.

Plně automatizované MLOps

Feature store – symetrie prostředí

$$

  • Zabraňuje zkreslení mezi tréninkem a nasazením

$$

Architekturní schéma. Feature store leží horizontálně. Dodává příznaky do orchestrovaných pipeline, kontinuálního trénování a predikčních služeb napříč prostředími.

Plně automatizované MLOps

Lass uns üben!

Plně automatizované MLOps

Preparing Video For Download...