Automatizované sledování experimentů

Plně automatizované MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Strojové učení má experimentální povahu

Mnoho „proměnných" k experimentování:

  • Transformace dat
    • Použité příznaky
  • Trénovací algoritmy
    • Ladění hyperparametrů
  • Metriky vyhodnocení
    • Přesnost, úplnost atd.
Plně automatizované MLOps

Rozsáhlý prostor možností!

$$

Fotografie několika antén namířených k hvězdné obloze. Obrázek ilustruje rozsáhlý prostor, který je obtížné plně prozkoumat.

Plně automatizované MLOps

Problémy ručních ML workflows

Absence automatizace = problémy v ručních ML workflows

  • Obtížné sledování experimentů a výsledků
  • Plýtvání časem a zdroji
  • Obtížná reprodukce/sdílení výsledků

Obrázek velmi frustrovaného datového vědce před notebookem.

Plně automatizované MLOps

Automatizované logování v ML

Důležité položky k zaznamenání:

  • Kód
  • Prostředí
  • Data
  • Parametry
  • Metriky
Plně automatizované MLOps

Důležitost logování

Logování je nezbytné pro:

  • Reprodukovatelnost experimentů v ML systémech.
  • Sledování výkonu systému a informované rozhodování.
  • Identifikaci oblastí ke zlepšení.

$$

Reprodukovatelnost zajišťuje transparentnost a je klíčová pro důvěryhodnost našich systémů.

Plně automatizované MLOps

Systém automatizovaného sledování experimentů

$$

Organizujte logy podle běhu nebo experimentu:

  • Zobrazení metadat trénování modelu
  • Porovnání běhů trénování modelu
  • Reprodukce běhů trénování modelu

$$

Schéma IT architektury. Systém sledování experimentů se skládá ze dvou komponent: uživatelského rozhraní dashboardu a rozhraní pro programový přístup. Dashboard je přístupný uživatelům systému. Programový přístup využívají ostatní komponenty architektury. Systém sledování experimentů zapisuje a čte z komponenty odpovědné za ukládání logů.

Plně automatizované MLOps

Automatizované sledování experimentů – dnešní trh

Nástroje pro automatizaci sledování experimentů:

  • TensorBoard

$$

  • MLFlow

$$

  • Weights & Biases

$$

  • Neptune

$$

Logo TensorFlow.

$$

Logo MLflow.

$$ Logo Weights & Biases.

Logo Neptune.AI.

Plně automatizované MLOps

Pojďme procvičovat!

Plně automatizované MLOps

Preparing Video For Download...