Ajustare fină

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Vidhi Chugh

AI strategist and ethicist

Unde ne aflăm?

Grafic de progres indicând etapa de ajustare fină

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

 

  • Pre-antrenare

Imagine reprezentând elevi de școală ca analogie pentru pre-antrenare

          Educație școlară

 

  • Ajustare fină

Imagine reprezentând studenți universitari ca analogie pentru ajustarea fină

        Specializare universitară
1 Freepik
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Provocările „dimensiunii mari"

  • Ajustarea fină poate ajuta
  • Calculatoare performante
  • Metode eficiente de antrenare
  • Volume mari de date de antrenare

Imagine prezentând disponibilitatea datelor, timpul de antrenare și puterea de calcul ca provocări în construirea LLM-urilor

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Putere de calcul

  • Memorie

  • Putere de procesare

  • Infrastructură

  • Costisitor

  • LLM:
    • Sute de mii de unități centrale (CPU-uri)
    • Zeci de mii de unități grafice (GPU-uri)
  • Calculator personal: 4-8 CPU și 1-2 GPU-uri

Bărbat lucrând la un calculator conectat la un server de mari dimensiuni

1 Freepik
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Antrenare eficientă a modelelor

Ilustrație simbolizând un model de deep learning

  • Timpul de antrenare este foarte mare

 

  • Poate dura săptămâni sau chiar luni

 

  • Antrenare eficientă = timp mai scurt

 

  • 355 de ani de procesare pe un singur GPU
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Disponibilitatea datelor

 

  • Necesitate de date de înaltă calitate
  • Pentru a învăța complexitățile limbajului

  • Câteva sute de gigaocteți (GB) de text

    • Peste un milion de cărți

  • Cantitate masivă de date

  Două teancuri de dosare pline simbolizând volume mari de date

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Depășirea provocărilor

  • Ajustarea fină
    • Abordează unele dintre aceste provocări
    • Adaptează un model pre-antrenat

 

  • Model pre-antrenat
    • Antrenat pe seturi de date generale
    • Neoptimizat pentru sarcini specifice
    • Poate fi ajustat pentru o problemă specifică

Persoane lucrând pe un laptop supradimensionat cu unelte și rotițe, simbolizând ajustarea fină

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Ajustare fină vs. pre-antrenare

  • Ajustare fină

  • Putere de calcul

    • 1-2 CPU și GPU

 

  • Timp de antrenare
    • Ore până la zile

 

  • Date
    • ~1 gigaoctet

  • Pre-antrenare

  • Putere de calcul

    • Mii de CPU-uri și GPU-uri

 

  • Timp de antrenare
    • Săptămâni până la luni

 

  • Date
    • Sute de gigaocteți
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Să exersăm!

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Preparing Video For Download...