Tryby serwowania

Wdrażanie i cykl życia modeli MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Serwowanie i tryb serwowania

• Udostępnianie prognoz == serwowanie modelu
• Konkretny sposób realizacji == tryb serwowania

 

Wybieraj uważnie!

Prognozowanie wsadowe: prostota przede wszystkim

• Prognozowanie wsadowe jest najprostsze
• Jeśli przypadek użycia na to pozwala, wybierz je
• Dobry przykład: miesięczne prognozy sprzedaży

Akceptowalne opóźnienie

Co jest akceptowalne?

• < 1 godzina?
• < 1 minuta?
• < 1 sekunda?
• < 1 milisekunda?

Prognozowanie niemal w czasie rzeczywistym a.k.a. przetwarzanie strumieniowe

Akceptowalne opóźnienie ~= X minut

Znane również jako przetwarzanie strumieniowe (żądania i odpowiedzi tworzą „strumienie danych")

Prognozowanie w czasie rzeczywistym

Akceptowalne opóźnienie < 1 sek

Przykład:

• Wykrywanie oszustw kartowych
• Spóźniona prognoza jest praktycznie bezużyteczna

Gdy opóźnienie jest priorytetem

• Słabszy, ale szybszy model jest cenniejszy niż silniejszy, lecz wolniejszy
• Modele wdrażane na urządzeniach użytkowników w celu zmniejszenia opóźnienia => „wdrożenie brzegowe"
  • Aplikacje mobilne z ML:
    • aplikacje nawigacyjne
    • odblokowywanie za pomocą rozpoznawania twarzy
    • filtry obrazów

Czas na ćwiczenia!

Wdrażanie i cykl życia modeli MLOps