Progresja wdrożeń i testowanie

Wdrażanie i cykl życia modeli MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Nie tak szybko!

 

ograniczenie prędkości

 

 

 

  • Nie wdrażaj bez dokładnego przetestowania!
Wdrażanie i cykl życia modeli MLOps

Agenda

TYPY TESTÓW

  • Testy jednostkowe
  • Testy integracyjne
  • Testy dymne
  • Testy obciążeniowe
  • Testy akceptacyjne

ŚRODOWISKA DEV, WDROŻENIOWE I TESTOWE

  • Development
  • Test
  • Staging
  • Produkcja

 

POZA ZAKRESEM: Wydajność modelu predykcyjnego

W ZAKRESIE: Testowanie całej aplikacji ML

Wdrażanie i cykl życia modeli MLOps

definicja środowiska

Wdrażanie i cykl życia modeli MLOps

Testowanie jednostkowe

Sprawdzanie, czy niezależne jednostki kodu działają zgodnie z oczekiwaniami

PRZYKŁAD

Testowana funkcja:

def add_two_numbers(x, y):
    return x + y

Test jednostkowy:

add_two_numbers(1, 1) == 2
add_two_numbers(2, 3) == 5
Wdrażanie i cykl życia modeli MLOps

deweloper ciągle zmienia

Wdrażanie i cykl życia modeli MLOps

ciągłe zmiany

Wdrażanie i cykl życia modeli MLOps

Wdrażanie i cykl życia modeli MLOps

Wdrażanie i cykl życia modeli MLOps

środowisko testowe 1

Wdrażanie i cykl życia modeli MLOps

wolne zasoby

Wdrażanie i cykl życia modeli MLOps

testy integracyjne 1

Wdrażanie i cykl życia modeli MLOps

testowanie API

Wdrażanie i cykl życia modeli MLOps

testowanie integracyjne

Wdrażanie i cykl życia modeli MLOps

środowisko staging

Wdrażanie i cykl życia modeli MLOps

kopia produkcji

Wdrażanie i cykl życia modeli MLOps

kopia produkcji 2

Wdrażanie i cykl życia modeli MLOps

dokładne wersje

Wdrażanie i cykl życia modeli MLOps

dane z produkcji

Wdrażanie i cykl życia modeli MLOps

testy dymne

Wdrażanie i cykl życia modeli MLOps

testy obciążeniowe

Wdrażanie i cykl życia modeli MLOps

testy wytrzymałościowe

Wdrażanie i cykl życia modeli MLOps

uat

Wdrażanie i cykl życia modeli MLOps

Jedno słabe ogniwo niszczy cały system

Należy ostrożnie dobierać to, co trafia na produkcję.

oring

 

 

 

Katastrofa promu Challenger w 1986 r. była spowodowana uszkodzeniem gumowego pierścienia uszczelniającego

Wdrażanie i cykl życia modeli MLOps

priorytety

Wdrażanie i cykl życia modeli MLOps

Czas na ćwiczenia!

Wdrażanie i cykl życia modeli MLOps

Preparing Video For Download...