Considerații privind datele

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Vidhi Chugh

AI strategist and ethicist

Considerații privind datele

 

Considerații privind datele

 

  • Volumul datelor și puterea de calcul
  • Calitatea datelor
  • Etichetare
  • Părtinire
  • Confidențialitate
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Volumul datelor și puterea de calcul

  • LLM-urile necesită multe date
    • Similar cu un copil care învață să vorbească
    • 570 GB, ~1,3 milioane de cărți

 

Copil care învață să vorbească

1 Freepik
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Volumul datelor și puterea de calcul

  • LLM-urile necesită multe date
    • Similar cu un copil care învață să vorbească
    • 570 GB, ~1,3 milioane de cărți

 

  • Putere de calcul considerabilă; gândiți-vă la consumul de energie

 

  • Poate costa milioane de dolari!

Om care lucrează la un calculator conectat la un server de mari dimensiuni

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Calitatea datelor

  • Datele de calitate sunt esențiale

 

  • Date precise = învățare mai bună = răspunsuri mai bune = încredere sporită

 

  • Un copil care învață să vorbească
    • Date slabe -> rezultate slabe

Rezultate slabe dacă antrenăm LLM-urile cu date pline de erori sau greșeli gramaticale

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Date etichetate

  • Etichetă corectă: învățare precisă, generalizare, răspunsuri corecte

  • Laborios: atribuirea etichetei corecte fiecărui articol

Echipă care lucrează la calculatoare pentru etichetarea datelor

  • Etichetele incorecte afectează performanța modelului
  • Corectare erori: identificare -> analiză -> iterare
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Părtinirea datelor

  • Influențat de stereotipuri sociale
  • Lipsă de diversitate în datele de antrenare
  • Discriminare și rezultate inechitabile

 

  • Identificarea și gestionarea datelor părtinite
    • Evaluarea dezechilibrelor din date
    • Promovarea diversității
    • Tehnici de reducere a părtinirii: exemple mai diverse

Părtinirea datelor

  • Exemplu:

    • "Asistenta a spus că..." -> "ea" sau "ei"
Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Confidențialitatea datelor

  • Respectarea reglementărilor privind protecția datelor și confidențialitatea

 

  • Confidențialitatea reprezintă o preocupare
    • Antrenarea pe date fără permisiune poate duce la o breșă
    • Prejudicii juridice, financiare și de reputație
  • Informații sensibile sau cu identificare personală (PII)

 

  • Obțineți permisiunea

Confidențialitatea datelor

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Să exersăm!

Concepte privind Modelele de Limbaj de Mari Dimensiuni (LLM)

Preparing Video For Download...