Metoder för finjustering

Introduktion till LLM:er i Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Finjustering

 

LLM-finjustering inom kemi

Introduktion till LLM:er i Python

Full finjustering

 

  • Alla modellvikter uppdateras
  • Beräkningsintensivt

 

Full finjustering

Introduktion till LLM:er i Python

Partiell finjustering

 

  • Vissa lager är låsta
  • Endast uppgiftsspecifika lager uppdateras

 

Partiell finjustering

Introduktion till LLM:er i Python

Transferinlärning

 

  • En förtränad modell anpassas till en relaterad uppgift
  • Överför kunskap från en domän till en annan

Transferinlärningens paradigm

Introduktion till LLM:er i Python

N-shot-inlärning

  • Zero-shot-inlärning: inga exempel
  • One-shot-inlärning: ett exempel
  • Few-shot-inlärning: flera exempel
Introduktion till LLM:er i Python

One-shot-inlärning

from transformers import pipeline

generator = pipeline(task="sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english")

input_text = """
Classify the sentiment of this sentence as either Positive or Negative.
Example:
Text: "I'm feeling great today!" Sentiment: Positive
Text: "The weather today is lovely." Sentiment:
"""

result = generator(input_text, max_length=100)
print(result[0]["label"])

POSITIVE
Introduktion till LLM:er i Python

Nu kör vi en övning!

Introduktion till LLM:er i Python

Preparing Video For Download...