Підходи до донавчання

Вступ до LLM у Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Донавчання

 

Випадок використання донавчання LLM у хімії

Вступ до LLM у Python

Повне донавчання

 

  • Оновлюються всі ваги моделі
  • Обчислювально витратно

 

Повне донавчання

Вступ до LLM у Python

Часткове донавчання

 

  • Деякі шари фіксовані
  • Оновлюються лише шари під завдання

 

Часткове донавчання

Вступ до LLM у Python

Transfer learning

 

  • Попередньо натреновану модель адаптовано до іншого, але спорідненого завдання
  • Використовує знання з однієї галузі для спорідненої

Парадигма transfer learning

Вступ до LLM у Python

N-shot learning

  • Zero-shot learning: без прикладів
  • One-shot learning: один приклад
  • Few-shot learning: кілька прикладів
Вступ до LLM у Python

One-shot learning

from transformers import pipeline

generator = pipeline(task="sentiment-analysis", model="distilbert-base-uncased-finetuned-sst-2-english")

input_text = """
Classify the sentiment of this sentence as either Positive or Negative.
Example:
Text: "I'm feeling great today!" Sentiment: Positive
Text: "The weather today is lovely." Sentiment:
"""

result = generator(input_text, max_length=100)
print(result[0]["label"])

POSITIVE
Вступ до LLM у Python

Давайте потренуємось!

Вступ до LLM у Python

Preparing Video For Download...