Inżynieria promptów

Koncepcje LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Cykl życia LLM: inżynieria promptów

Przegląd faz cyklu życia aplikacji LLM

Koncepcje LLMOps

Cykl rozwoju

Wstępny przegląd cyklu rozwoju, który zostanie uszczegółowiony w tym rozdziale

Koncepcje LLMOps

Dlaczego inżynieria promptów jest ważna?

 

Zabawna postać z kreskówki ucząca o promptach

 

 

  • Poprawa wydajności
  • Kontrola nad wynikiem
  • Unikanie błędów i halucynacji
Koncepcje LLMOps

Elementy promptu

 

 

  1. Instrukcja
  2. Przykłady / kontekst
  3. Dane wejściowe
  4. Wskaźnik wyjścia

Przykład promptu przedstawiający instrukcję, przykłady, dane wejściowe i wyjściowe

Koncepcje LLMOps

Znajdowanie idealnego promptu

 

 

Zdjęcie dwóch postaci z kreskówki bawiących się na placu zabaw

 

Eksperymentuj z:

  • Ustawieniami LLM, np. temperaturą lub max tokenów
  • Uczeniem in-context i innymi wzorcami projektowania promptów

 

Do eksperymentów używaj playgroundu!

Koncepcje LLMOps

Zarządzanie promptami

 

 

Zabawna postać z kreskówki segregująca prompty w pudełku archiwalnym

  • Kluczowe dla wydajności, reprodukowalności i współpracy
  • Ważne do śledzenia:
    • Prompt
    • Wynik
    • Model i ustawienia
  • Używaj menedżera promptów lub kontroli wersji
  • Zacznij gromadzić zbiór dobrych par wejście–wyjście do ewaluacji
Koncepcje LLMOps

Szablony promptów dla wielokrotnego użytku

Obraz przedstawiający prompt po lewej i szablon promptu po prawej, ukazujący różnicę między nimi

Koncepcje LLMOps

Cykl rozwoju

Wstępny przegląd cyklu rozwoju, który zostanie uszczegółowiony w tym rozdziale

Koncepcje LLMOps

Cykl rozwoju

Cykl rozwoju z dodaną czynnością inżynierii promptów

Koncepcje LLMOps

Czas na ćwiczenia!

Koncepcje LLMOps

Preparing Video For Download...