Przegląd LLMOps

Koncepcje LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Czego nauczymy się w tym kursie

Zabawna ilustracja książki siedzącej przy biurku i uczącej się

 

  • LLMOps pomaga skutecznie zarządzać, wdrażać i utrzymywać aplikacje dużych modeli językowych
  • Omówimy:
    • Podstawy
    • Cykl życia aplikacji LLM
    • Wyzwania i zagadnienia
1 Ilustracje: Manfred Steger @ Pixabay
Koncepcje LLMOps

Przypomnienie o LLM

 

 

Czym są LLM?
  • 📚 Trenowane na obszernych zbiorach tekstów
  • 🧠 Rozumieją i generują tekst podobny do ludzkiego
  • 💡 Przełom w dziedzinie AI

 

 

Co je wyróżnia?
  • 🏋 Zazwyczaj wstępnie wytrenowane
  • 🐘 Ogromna liczba parametrów
  • 💻 Znaczące zasoby obliczeniowe
  • 🎲 Nieprzewidywalne
Koncepcje LLMOps

Jak to się zaczęło...

  • Zapytania były przekazywane bezpośrednio do modelu
  • Skupiano się na działaniu modelu
  • Dane wprowadzano tylko przy fine-tuningu modelu

Prosty potok przedstawiający zapytanie wchodzące do LLM i generujące wynik

Koncepcje LLMOps

... a jak to wygląda dziś

  • Integracja danych organizacyjnych przed generowaniem tekstu
  • Kroki mogą obejmować przetwarzanie i manipulację danymi
  • Jedno lub wiele wywołań modelu – tekst, obraz lub multi-modal

Rezultat to aplikacje LLM omawiane w tym kursie

Obraz złożonego potoku LLM

Koncepcje LLMOps

Po co LLMOps?

 

 

Bezproblemowa integracja

Koncepcje LLMOps

Po co LLMOps?

 

 

Płynne przejścia w cyklu życia

Koncepcje LLMOps

Po co LLMOps?

 

 

Efektywne, skalowalne zarządzanie

Koncepcje LLMOps

LLMOps a MLOps

Koncepcje LLMOps

LLMOps a MLOps

Główne różnice:

LLMOps MLOps
Rozmiar modelu Duży Zazwyczaj mniejszy
Dane Tekst Dowolne dane
Modele wstępnie wytrenowane Zazwyczaj tak Zazwyczaj nie
Poprawa modelu Inżynieria promptów i fine-tuning Inżynieria cech i dobór modelu
Uogólnianie Ogólnego przeznaczenia Stały zakres
Nieprzewidywalność Wysoka Niska
Wynik Głównie tekst Zadaniowy
Koncepcje LLMOps

Czas na ćwiczenia!

Koncepcje LLMOps

Preparing Video For Download...