Faza de ideație

Concepte LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclul de viață LLM: faza de ideație

Prezentare generală a fazelor ciclului de viață al aplicației LLM

Concepte LLMOps

Colectarea datelor

 

Imagine jucăușă cu un personaj de desen animat care prezintă diferite surse de date

 

  • Identificarea nevoilor

 

  • Găsirea surselor

 

  • Asigurarea accesibilității
Concepte LLMOps

Colectarea datelor

 

Imagine jucăușă cu un personaj de desen animat care prezintă diferite surse de date

  1. Datele sunt relevante?
  2. Datele sunt disponibile?
    • Transformarea datelor
    • Configurarea unor baze de date suplimentare
    • Evaluarea costurilor
    • Luarea în calcul a altor restricții de acces
  3. Datele respectă standardele?
    • Vizează calitatea și guvernanța
Concepte LLMOps

Selectarea modelului de bază

  • Modele pre-antrenate:

Imagine a unui model pre-antrenat

  • Proprietar sau open-source?
Concepte LLMOps

Modele proprietare (deținute privat)

Avantaje:

  • Ușurință în configurare și utilizare
  • Asigurarea calității
  • Fiabilitate, viteză și disponibilitate

 

Limitări:

  • Necesită expunerea datelor
  • Personalizare

Exemple:

Logo-uri ale modelelor LLM proprietare

Concepte LLMOps

Open-source (accesibil public)

Avantaje:

  • Găzduire internă
  • Transparență
  • Personalizare completă

 

Limitări:

  • Suport
  • Utilizare comercială

 

Exemplu: Logo-ul Meta Llama 3

 

Disponibil pe: Logo-ul Hugging Face

Concepte LLMOps

Factori în selectarea modelului

1. Performanță ⭐

  • Calitatea răspunsurilor
  • Viteză

Pictograme legate de performanță

2. Caracteristici ale modelului ⭐

  • Datele utilizate pentru antrenare
  • Dimensiunea ferestrei de context
  • Posibilitate de fine-tuning

Pictograme legate de caracteristicile modelului

Concepte LLMOps

Factori în selectarea modelului

3. Considerații practice ⭐

  • Licență
  • Cost
  • Impact asupra mediului

Pictograme legate de considerații practice

4. Factori secundari

  • Numărul de parametri
  • Popularitate

Pictograme legate de factorii secundari

Concepte LLMOps

Să exersăm!

Concepte LLMOps

Preparing Video For Download...