Ideenphase

LLMOps-Konzepte

Max Knobbout, PhD

Applied Scientist, Uber

LLM-Lebenszyklus: Ideenphase

Übersicht über die Phasen des LLM-Anwendungslebenszyklus

LLMOps-Konzepte

Datenbeschaffung

 

Verspielte Zeichnung einer Figur mit verschiedenen Datenquellen

 

  • Bedarfe ermitteln

 

  • Quellen finden

 

  • Zugänglichkeit sichern
LLMOps-Konzepte

Datenbeschaffung

 

Verspielte Zeichnung einer Figur mit verschiedenen Datenquellen

  1. Sind die Daten relevant?
  2. Sind die Daten verfügbar?
    • Daten transformieren
    • Zusätzliche Datenbanken einrichten
    • Kosten bewerten
    • Weitere Zugriffsbeschränkungen prüfen
  3. Erfüllen die Daten Standards?
    • Qualität und Governance
LLMOps-Konzepte

Basismodell auswählen

  • Vorgefertigte Modelle:

Bild eines vortrainierten Modells

  • Proprietär oder Open Source?
LLMOps-Konzepte

Proprietäre Modelle (privat)

Vorteile:

  • Einfache Einrichtung und Nutzung
  • Qualitätssicherung
  • Zuverlässigkeit, Geschwindigkeit, Verfügbarkeit

 

Nachteile:

  • Erfordert Offenlegung von Daten
  • Begrenzte Anpassung

Beispiele:

Logos proprietärer LLM-Modelle

LLMOps-Konzepte

Open Source (öffentlich zugänglich)

Vorteile:

  • Eigenes Hosting
  • Transparenz
  • Voll anpassbar

 

Nachteile:

  • Support
  • Kommerzielle Nutzung

 

Beispiel: Logo von Meta Llama 3

 

Downloadbar von: Logo von Hugging Face

LLMOps-Konzepte

Faktoren bei der Modellauswahl

1. Leistung ⭐

  • Antwortqualität
  • Geschwindigkeit

Symbole zur Leistung

2. Modelleigenschaften ⭐

  • Trainingsdaten
  • Kontextfenster-Größe
  • Feinabstimmbar

Symbole zu Modelleigenschaften

LLMOps-Konzepte

Faktoren bei der Modellauswahl

3. Praktische Aspekte ⭐

  • Lizenz
  • Kosten
  • Umweltauswirkung

Symbole zu praktischen Aspekten

4. Sekundäre Faktoren

  • Anzahl der Parameter
  • Beliebtheit

Symbole zu sekundären Faktoren

LLMOps-Konzepte

Lass uns üben!

LLMOps-Konzepte

Preparing Video For Download...