Přístupy k doladění

Úvod do LLMs v Pythonu

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Doladění

 

Příklad použití doladění LLM v chemii

Úvod do LLMs v Pythonu

Úplné doladění

 

  • Aktualizují se všechny váhy modelu
  • Výpočetně náročné

 

Úplné doladění

Úvod do LLMs v Pythonu

Částečné doladění

 

  • Některé vrstvy jsou zmrazeny
  • Aktualizují se pouze vrstvy specifické pro úlohu

 

Částečné doladění

Úvod do LLMs v Pythonu

Transferové učení

 

  • Předtrénovaný model je přizpůsoben jiné, ale příbuzné úloze
  • Přenáší znalosti z jedné domény do příbuzné

Paradigma transferového učení

Úvod do LLMs v Pythonu

N-shot learning

  • Zero-shot learning: žádné příklady
  • One-shot learning: jeden příklad
  • Few-shot learning: několik příkladů
Úvod do LLMs v Pythonu

One-shot learning

from transformers import pipeline

generator = pipeline(task="sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english")

input_text = """
Classify the sentiment of this sentence as either Positive or Negative.
Example:
Text: "I'm feeling great today!" Sentiment: Positive
Text: "The weather today is lovely." Sentiment:
"""

result = generator(input_text, max_length=100)
print(result[0]["label"])

POSITIVE
Úvod do LLMs v Pythonu

Pojďme si procvičit!

Úvod do LLMs v Pythonu

Preparing Video For Download...