Skalowanie poza PoC

Strategia AI (sztucznej inteligencji)

Vidhi Chugh

AI strategist and ethicist

Co oznacza skalowanie?

 

 

• Skalowalność:
  • Obsługa rosnącej ilości danych, użytkowników i zadań
  • Utrzymanie wydajności, jakości i opłacalności

 

• Skalowanie AI = 3x wyższe zyski!
  • Integracja z istniejącymi procesami biznesowymi

Platformy chmurowe

 

• Od PoC do pełnego wdrożenia

 

• Platforma chmurowa
  • Zgodność z przepisami o danych
  • Bezpieczeństwo
  • Obsługa architektur multi-cloud i hybrydowych

 

Kwestie wdrożeniowe

• Analiza kosztów i wydajności
• Mechanizmy zarządzania; łatwość wdrożenia i administrowania

Budować czy kupować?

 

• Model gotowy vs. własny algorytm

• Większa kontrola nad działaniem systemu

 

• Harmonogram projektu

• Własny algorytm wymaga więcej czasu niż gotowe rozwiązanie

Skalowalność i wydajność

 

• Skalowanie = trafne predykcje bez utraty wydajności

 

• Wydajność:
  • Dokładność
  • Opóźnienie (latency): czas potrzebny modelowi na predykcję
  • Przepustowość (throughput): liczba predykcji w danym czasie

 

 

Dane na dużą skalę

• Fundament modeli uczenia maszynowego

• Zarządzanie cyklem życia danych

  • Przygotowanie i utrzymanie

Dostęp do danych

 

• Dostęp tylko dla wybranych działów; odizolowane od reszty
  • Powstają silosy
  • Spada przejrzystość
  • Modele działają nieefektywnie

 

• Różne źródła = różne formaty
  • Standaryzacja

 

Architektura gotowa na skalowanie

 

 

• Projektowanie właściwej architektury

 

• Mikroserwisy
  • Niezależne skalowanie
  • Elastyczność
  • Responsywność

 

• Koordynacja interakcji bywa trudna

Infrastruktura do skalowania

 

• Rozbudowane obliczenia na danych
• GPU-y przyspieszają zadania, ale zwiększają koszty

 

• Rozważ korzyści
  • Szybsze trenowanie modeli
  • Lepsza wydajność
  • Wyższe koszty

Usprawnianie procesów AI

• Szczegółowy plan wdrożenia i projekt architektury
• Standaryzacja i usprawnienie procesów
  • Budowanie, wdrażanie i monitorowanie modeli

Czas na praktykę!

Strategia AI (sztucznej inteligencji)