Inlärningstekniker

Koncept inom stora språkmodeller (LLM)

Vidhi Chugh

AI strategist and ethicist

Var befinner vi oss?

Att ta sig förbi databegränsningar

 

• Finjustering: träning av en förtränad modell för en specifik uppgift

 

• Men vad händer om det finns lite eller ingen märkt data?

 

• N-shot-inlärning: zero-shot, few-shot och multi-shot

Transferinlärning

• Lär från en uppgift och överför till en besläktad uppgift
• Överföring av kunskap från piano till gitarr
  • Läsa noter
  • Förstå rytm
  • Greppa musikbegrepp

• N-shot-inlärning
  • Zero-shot – ingen uppgiftsspecifik data
  • Few-shot – lite uppgiftsspecifik data
  • Multi-shot – relativt mer träningsdata

Zero-shot-inlärning

• Ingen explicit träning
• Använder språkförståelse och kontext
• Generaliserar utan tidigare exempel

¹ Freepik

Few-shot-inlärning

• Lär sig en ny uppgift med några få exempel

• One-shot-inlärning: finjustering från ett enda exempel

• Tidigare kunskap för att besvara nya frågor

Multi-shot-inlärning

• Kräver fler exempel än few-shot

 

• Tidigare uppgifter, plus nya exempel

 

• Till exempel en modell tränad på golden retriever

¹ Freepik

Multi-shot-inlärning

• Modellens svar: Labrador retriever

 

• Sparar tid vid insamling och märkning av data

 

• Ingen kompromiss med noggrannheten

¹ Freepik

Byggstenar hittills

• Arbetsflöde för dataförberedelse

 

• Finjustering

 

• N-shot-inlärningstekniker

 

• Nästa steg: förträning

Nu kör vi en övning!

Koncept inom stora språkmodeller (LLM)