Techniki uczenia

Koncepcje dużych modeli językowych (LLM)

Vidhi Chugh

AI strategist and ethicist

Gdzie jesteśmy?

Praca mimo ograniczeń danych

 

• Dostrajanie: trenowanie wstępnie nauczonego modelu do określonego zadania

 

• Co jednak, gdy danych etykietowanych jest mało lub brak?

 

• Uczenie N-shot: zero-shot, few-shot i multi-shot

Transfer learning

• Nauka z jednego zadania i przeniesienie do powiązanego
• Transfer wiedzy z fortepianu na gitarę
  • Czytanie nut
  • Rozumienie rytmu
  • Opanowanie pojęć muzycznych

• Uczenie N-shot
  • Zero-shot – brak danych specyficznych dla zadania
  • Few-shot – niewiele danych specyficznych
  • Multi-shot – relatywnie więcej danych treningowych

Zero-shot learning

• Brak jawnego trenowania
• Wykorzystuje rozumienie języka i kontekstu
• Generalizuje bez wcześniejszych przykładów

¹ Freepik

Few-shot learning

• Nauka nowego zadania na podstawie kilku przykładów

• One-shot learning: dostrajanie na podstawie jednego przykładu

• Wiedza wcześniejsza do odpowiedzi na nowe pytanie

Multi-shot learning

• Wymaga więcej przykładów niż few-shot

 

• Poprzednie zadania oraz nowe przykłady

 

• Na przykład model wytrenowany na Golden Retrieverze

¹ Freepik

Multi-shot learning

• Wynik modelu: Labrador Retriever

 

• Oszczędza czas przy zbieraniu i etykietowaniu danych

 

• Bez uszczerbku dla dokładności

¹ Freepik

Dotychczasowe elementy składowe

• Proces przygotowania danych

 

• Dostrajanie

 

• Techniki uczenia N-shot

 

• Następnie: pre-training

Czas na ćwiczenia!

Koncepcje dużych modeli językowych (LLM)