Kwestie i zagadnienia dotyczące danych

Koncepcje dużych modeli językowych (LLM)

Vidhi Chugh

AI strategist and ethicist

Zagadnienia dotyczące danych

 

Zagadnienia dotyczące danych

 

  • Wolumen danych i moc obliczeniowa
  • Jakość danych
  • Etykietowanie
  • Stronniczość
  • Prywatność
Koncepcje dużych modeli językowych (LLM)

Wolumen danych i moc obliczeniowa

  • LLM potrzebują dużej ilości danych
    • Podobnie jak dziecko uczące się mówić
    • 570 GB, ~1,3 miliona książek

 

Dziecko uczące się mówić

1 Freepik
Koncepcje dużych modeli językowych (LLM)

Wolumen danych i moc obliczeniowa

  • LLM potrzebują dużej ilości danych
    • Podobnie jak dziecko uczące się mówić
    • 570 GB, ~1,3 miliona książek

 

  • Ogromna moc obliczeniowa; warto pomyśleć o zużyciu energii

 

  • Koszt może sięgać milionów dolarów!

Mężczyzna pracujący przy komputerze podłączonym do dużego serwera

Koncepcje dużych modeli językowych (LLM)

Jakość danych

  • Dane wysokiej jakości są niezbędne

 

  • Dokładne dane = lepsze uczenie = lepsza jakość odpowiedzi = większe zaufanie

 

  • Dziecko uczące się mówić
    • Nonsens na wejściu -> nonsens na wyjściu

Niskiej jakości wyniki, gdy trenujemy LLM na danych pełnych błędów lub niepoprawnej gramatyki

Koncepcje dużych modeli językowych (LLM)

Etykietowane dane

  • Poprawna etykieta: dokładne uczenie, uogólnianie wzorców, trafne odpowiedzi

  • Pracochłonne: przypisywanie właściwej etykiety do każdego artykułu

Zespół pracujący przy komputerach nad etykietowaniem danych

  • Niepoprawne etykiety wpływają na wydajność modelu
  • Eliminacja błędów: identyfikacja -> analiza -> iteracja
Koncepcje dużych modeli językowych (LLM)

Stronniczość danych

  • Wpływ stereotypów społecznych
  • Brak różnorodności w danych treningowych
  • Dyskryminacja i niesprawiedliwe wyniki

 

  • Wykrywanie i eliminacja stronniczych danych
    • Ocena nierównowagi danych
    • Promowanie różnorodności
    • Techniki ograniczania stronniczości: więcej zróżnicowanych przykładów

Stronniczość danych

  • Przykład:

    • „Pielęgniarka powiedziała, że..." -> „ona" lub „jej"
Koncepcje dużych modeli językowych (LLM)

Prywatność danych

  • Zgodność z przepisami o ochronie danych i prywatności

 

  • Prywatność jest istotną kwestią
    • Trenowanie na danych bez zgody może prowadzić do naruszenia
    • Szkody prawne, finansowe i reputacyjne
  • Wrażliwe lub umożliwiające identyfikację dane osobowe (PII)

 

  • Uzyskaj zgodę

Prywatność danych

Koncepcje dużych modeli językowych (LLM)

Czas na ćwiczenia!

Koncepcje dużych modeli językowych (LLM)

Preparing Video For Download...