Utrzymanie modelu

Wdrażanie i cykl życia modeli MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Poprzednio...

  • Jak wykrywać anomalie i zakłócenia?

 

Temat tej lekcji: awaria modelu ML

Wdrażanie i cykl życia modeli MLOps

pogorszenie modelu

Wdrażanie i cykl życia modeli MLOps

ulepszanie modelu

Wdrażanie i cykl życia modeli MLOps

ulepszanie zbioru danych

Wdrażanie i cykl życia modeli MLOps

podejście model-centric

Wdrażanie i cykl życia modeli MLOps

podejście data-centric

1 https://datacentricai.org/
Wdrażanie i cykl życia modeli MLOps

Jakość ponad ilość

  • Pozyskaj cechy z istotnymi informacjami
  • Pozyskaj lepsze etykiety

 

Etykieta == wartość zmiennej docelowej w zbiorze treningowym

Jakość etykiety == zgodność etykiety z rzeczywistością

Wdrażanie i cykl życia modeli MLOps

złe etykiety

Wdrażanie i cykl życia modeli MLOps

słabe predykcje

Wdrażanie i cykl życia modeli MLOps

Zalety narzędzi do etykietowania

Ręczne etykietowanie jest złożone, czasochłonne i podatne na błędy

Używaj dobrych narzędzi do etykietowania!

  • Szybsze etykietowanie
  • Większa dokładność
  • Interfejs dostosowany do celu
  • „Zaetykietuj te przykłady jako pierwsze, aby uzyskać największy efekt"
  • „Wygląda na to, że popełniono tu błąd"

narzędzie do etykietowania

Przykład: narzędzie do etykietowania obrazów, służące do budowania klasyfikatorów

Wdrażanie i cykl życia modeli MLOps

człowiek w pętli

Wdrażanie i cykl życia modeli MLOps

HIL 2

Wdrażanie i cykl życia modeli MLOps

wkład eksperta

Wdrażanie i cykl życia modeli MLOps

Wdrażanie i cykl życia modeli MLOps

Gdy etykiety są gotowe

  • Uruchom potok budowy ML => nowy model
  • Sprawdź, czy nowy model jest lepszy od poprzedniego
    • TAK => testuj i wdrażaj
    • NIE => kontynuuj poszukiwania,
Wdrażanie i cykl życia modeli MLOps

Kontynuuj poszukiwania

  • Wypróbuj nowe modele
  • Wypróbuj nowe cechy
  • Wypróbuj nowe źródła danych

 

Bardzo pomocne: magazyn metadanych (MLFlow Tracking itp.)

  • Dokumentuj proces wyboru modelu
  • Unikaj powtarzania tych samych eksperymentów

 

W każdym przypadku: MLOps pozwala utrzymywać model w sposób szybki i efektywny

Wdrażanie i cykl życia modeli MLOps

Czas na ćwiczenia!

Wdrażanie i cykl życia modeli MLOps

Preparing Video For Download...