Podejścia do dostrajania

Wprowadzenie do LLM w Pythonie

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Dostrajanie

 

Przypadek użycia LLM w chemii – dostrajanie

Wprowadzenie do LLM w Pythonie

Pełne dostrajanie

 

  • Aktualizowane są wszystkie wagi modelu
  • Wysoki koszt obliczeniowy

 

Pełne dostrajanie

Wprowadzenie do LLM w Pythonie

Częściowe dostrajanie

 

  • Część warstw jest zamrożona
  • Aktualizowane są tylko warstwy zadaniowe

 

Częściowe dostrajanie

Wprowadzenie do LLM w Pythonie

Uczenie transferowe

 

  • Wstępnie wytrenowany model jest adaptowany do pokrewnego zadania
  • Wykorzystuje wiedzę z jednej dziedziny w powiązanej

Paradygmat uczenia transferowego

Wprowadzenie do LLM w Pythonie

Uczenie N-przykładowe

  • Uczenie bezprzykładowe: brak przykładów
  • Uczenie jednoprzykładowe: jeden przykład
  • Uczenie kilkuprzykładowe: kilka przykładów
Wprowadzenie do LLM w Pythonie

Uczenie jednoprzykładowe

from transformers import pipeline

generator = pipeline(task="sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english")

input_text = """
Classify the sentiment of this sentence as either Positive or Negative.
Example:
Text: "I'm feeling great today!" Sentiment: Positive
Text: "The weather today is lovely." Sentiment:
"""

result = generator(input_text, max_length=100)
print(result[0]["label"])

POSITIVE
Wprowadzenie do LLM w Pythonie

Czas na ćwiczenia!

Wprowadzenie do LLM w Pythonie

Preparing Video For Download...