Techniky učení

Koncepty velkých jazykových modelů (LLM)

Vidhi Chugh

AI strategist and ethicist

Kde jsme?

Překonání omezení dat

 

• Fine-tuning: trénování předtrénovaného modelu pro konkrétní úkol

 

• Co když je označených dat málo nebo vůbec žádná?

 

• N-shot learning: zero-shot, few-shot a multi-shot

Transfer learning

• Naučit se z jednoho úkolu a přenést na příbuzný
• Přenos znalostí z piana na kytaru
  • Čtení not
  • Porozumění rytmu
  • Pochopení hudebních konceptů

• N-shot learning
  • Zero-shot – žádná trénovací data
  • Few-shot – málo trénovacích dat
  • Multi-shot – relativně více trénovacích dat

Zero-shot learning

• Bez explicitního trénování
• Využívá jazykové porozumění a kontext
• Generalizuje bez předchozích příkladů

¹ Freepik

Few-shot learning

• Naučit se nový úkol z několika příkladů

• One-shot learning: fine-tuning z jednoho příkladu

• Předchozí znalosti k zodpovězení nové otázky

Multi-shot learning

• Vyžaduje více příkladů než few-shot

 

• Předchozí úkoly i nové příklady

 

• Příklad: model trénovaný na zlatém retrívru

¹ Freepik

Multi-shot learning

• Výstup modelu: Labradorský retrívr

 

• Šetří čas při sběru a označování dat

 

• Bez kompromisů v přesnosti

¹ Freepik

Dosavadní stavební bloky

• Příprava dat

 

• Fine-tuning

 

• Techniky N-shot learningu

 

• Další: pre-training

Pojďme cvičit!

Koncepty velkých jazykových modelů (LLM)