Chains und Agents

LLMOps-Konzepte

Max Knobbout, PhD

Applied Scientist, Uber

LLM-Lebenszyklus: Chains und Agents

Überblick über die Phasen des LLM‑Anwendungszyklus

LLMOps-Konzepte

Von Prompts zu Anwendungen

Promptvorlage für Kalorienklassifizierung von Gerichten

 

  • Für diese Vorlage brauchen wir:
    • Beispiele
    • Eingabe
  • Wir durchlaufen ein paar Schritte:
    1. Eingabe empfangen
    2. Beispiele suchen
    3. Prompt erstellen
    4. Ausgabe abrufen
    5. Ausgabe parsen
LLMOps-Konzepte

Eine Chain mit unserer Vorlage

 

Eine LLM‑App mit einer Chain, die ähnliche Gerichte aus der Datenbank holt

LLMOps-Konzepte

Warum Chains?

 

Ein verspieltes Bild: drei Cartoonfiguren zeichnen eine Chain

 

 

  • Anspruchsvolle Anwendungen entwickeln
  • Modulares Design für Skalierbarkeit und Effizienz
  • Nahezu unbegrenzte Anpassung
LLMOps-Konzepte

Agents

 

 

Ein verspieltes Bild: eine Cartoonfigur reitet eine Robotermouse

 

  • Agents bestehen aus:
    • Mehreren Aktionen (Tools)
    • Einem LLM, das die nächste Aktion wählt

 

  • Nützlich, wenn:
    • Viele Aktionen möglich sind
    • Die optimale Schrittfolge unbekannt ist
    • Eingaben unsicher sind
LLMOps-Konzepte

Agents

Eine Agent-Architektur mit zwei Aktionen

LLMOps-Konzepte

Agents

Eine Agent-Architektur mit zwei Aktionen

LLMOps-Konzepte

Agents

Eine Agent-Architektur mit zwei Aktionen

LLMOps-Konzepte

Unterschied zwischen Chains und Agents

 

 

Chains 🔗 Agents 🤖
Art Deterministisch Adaptiv
Komplexität   Niedrig Hoch
Flexibilität Niedrig Hoch
Risiko Geringer (wegen Vorhersagbarkeit)                 Höher (wegen Anpassungsfähigkeit)                
LLMOps-Konzepte

Der Entwicklungszyklus

Entwicklungszyklus mit hinzugefügter Aktivität: Prompt Engineering

LLMOps-Konzepte

Der Entwicklungszyklus

Entwicklungszyklus mit Chains und Agents.

LLMOps-Konzepte

Der Entwicklungszyklus

Entwicklungszyklus mit hinzugefügter Aktivität: Chain- und Agent-Entwicklung

LLMOps-Konzepte

Lass uns üben!

LLMOps-Konzepte

Preparing Video For Download...