Fijn-afstemmingsmethoden

Introductie tot LLM’s in Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Fijn-afstemmen

 

Use-case fijn-afstemmen LLM’s voor chemie

Introductie tot LLM’s in Python

Volledig fijn-afstemmen

 

  • Alle modelgewichten worden geüpdatet
  • Rekenintensief

 

Volledig fijn-afstemmen

Introductie tot LLM’s in Python

Gedeeltelijk fijn-afstemmen

 

  • Sommige lagen staan vast
  • Alleen taak-specifieke lagen worden geüpdatet

 

Gedeeltelijk fijn-afstemmen

Introductie tot LLM’s in Python

Transfer learning

 

  • Een voorgetraind model aanpassen aan een andere, verwante taak
  • Kennis uit één domein benutten voor een verwant domein

Het transfer learning-paradigma

Introductie tot LLM’s in Python

N-shot learning

  • Zero-shot learning: geen voorbeelden
  • One-shot learning: één voorbeeld
  • Few-shot learning: meerdere voorbeelden
Introductie tot LLM’s in Python

One-shot learning

from transformers import pipeline

generator = pipeline(task="sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english")

input_text = """
Classify the sentiment of this sentence as either Positive or Negative.
Example:
Text: "I'm feeling great today!" Sentiment: Positive
Text: "The weather today is lovely." Sentiment:
"""

result = generator(input_text, max_length=100)
print(result[0]["label"])

POSITIVE
Introductie tot LLM’s in Python

Laten we oefenen!

Introductie tot LLM’s in Python

Preparing Video For Download...