Feature store w zautomatyzowanej architekturze MLOps

W pełni zautomatyzowany MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Cechy w uczeniu maszynowym

$$

Inżynieria cech

Wybieranie, przekształcanie i transformowanie surowych źródeł danych w celu tworzenia cech używanych jako dane wejściowe dla algorytmów ML

Zdjęcie pracownika w garniturze obok arkuszy papieru i kół zębatych symbolizujących proces przetwarzania danych.

$$

Przykłady:

  • Transformacje numeryczne
  • Kodowanie kategorii
  • Grupowanie wartości
  • Tworzenie nowych cech
W pełni zautomatyzowany MLOps

Inżynieria cech w przedsiębiorstwie

$$

Diagram architektury przedstawiający źródła danych wsadowych i strumieniowych przetwarzanych przez zespół data scientistów w typowym procesie inżynierii cech.

W pełni zautomatyzowany MLOps

Inżynieria cech w przedsiębiorstwie

$$

Ten sam diagram architektury co wcześniej, ale z dodatkowym zespołem pobierającym źródła danych i pracującym w odizolowanym silosie z własną inżynierią cech.

W pełni zautomatyzowany MLOps

Inżynieria cech w przedsiębiorstwie

$$

Kontynuacja poprzedniego rysunku – trzeci zespół pobiera te same źródła danych i pracuje z inżynierią cech we własnym silosie.

W pełni zautomatyzowany MLOps

Feature store

$$

  • Scentralizowane repozytorium cech

  • Unikanie powielania pracy dzięki automatyzacji

  • Standaryzacja transformacji

  • Scentralizowane przechowywanie danych

  • Udostępnianie cech dla przetwarzania wsadowego i czasu rzeczywistego

$$

Diagram architektury, w którym źródła danych są pobierane do feature store. Wewnątrz feature store dane są transformowane, utworzone cechy są przechowywane, a następnie udostępniane.

W pełni zautomatyzowany MLOps

Feature store – przyspieszona eksperymentacja

$$

  • Przyspieszona eksperymentacja
    • Ekstrakcja danych do eksperymentów
    • Odkrywanie cech
    • Unikanie wielokrotnych definicji tych samych cech

$$

Diagram architektury. Feature store jest ułożony poziomo i dostarcza cechy do zorganizowanych eksperymentów w środowisku eksperymentowania i rozwoju.

W pełni zautomatyzowany MLOps

Feature store – ciągłe trenowanie

$$

  • Ciągłe trenowanie (CT)
    • Ekstrakcja danych dla zautomatyzowanych potoków w produkcji

$$

Diagram architektury. Feature store jest ułożony poziomo. Dostarcza dane do komponentu ciągłego trenowania w środowiskach staging/produkcja.

W pełni zautomatyzowany MLOps

Feature store – predykcje online

$$

  • Predykcje online
    • Korzystanie z predefiniowanych cech w usługach predykcji

$$

Diagram architektury. Feature store jest ułożony poziomo. Dostarcza cechy do usługi predykcji w systemie.

W pełni zautomatyzowany MLOps

Feature store – symetria środowisk

$$

  • Zapobiega rozbieżności między trenowaniem a obsługą

$$

Diagram architektury. Feature store jest ułożony poziomo. Dostarcza cechy do zorganizowanych potoków, ciągłego trenowania i usług predykcji w różnych środowiskach.

W pełni zautomatyzowany MLOps

Czas na ćwiczenia!

W pełni zautomatyzowany MLOps

Preparing Video For Download...