Использование готовых LLM

Введение в LLM на Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Понимание языка

Человек за столом с задачами: классификация текста, суммаризация, анализ тональности и ответы на вопросы

Введение в LLM на Python

Генерация языка

Человек за столом с задачами: генерация текста и перевод

Введение в LLM на Python

Генерация текста

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)
  • Связный
  • Осмысленный
  • Естественный текст
  • eos_token_id: идентификатор токена конца последовательности
Введение в LLM на Python

Генерация текста

Иллюстрация двух последовательностей: «we should go» и «i really like to travel» — с идентификаторами токенов, дополнением и токеном конца последовательности

  • pad_token_id: заполняет последовательность до max_length
  • Дополнение: добавление токенов
  • Значение generator.tokenizer.eos_token_id отмечает конец значимого текста, усвоенный в процессе обучения
  • Модель генерирует до max_length или pad_token_id
  • truncation = True
Введение в LLM на Python

Генерация текста

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)


print(output[0]["generated_text"])

The Gion neighborhood in Kyoto is famous for its many colorful green forests, such as the 
Red Hill, the Red River and the Red River. The Gion neighborhood is home to the world's 
tallest trees.
  • Результат может быть неточным, если запрос слишком расплывчатый
Введение в LLM на Python

Управление выводом

generator = pipeline(task="text-generation", model="distilgpt2")


review = "This book was great. I enjoyed the plot twist in Chapter 10."

response = "Dear reader, thank you for your review."

prompt = f"Book review:\n{review}\n\nBook shop response to the review:\n{response}"


output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)

print(output[0]["generated_text"])

Dear reader, thank you for your review. We'd like to thank you for your reading!
Введение в LLM на Python

Языковой перевод

  • На Hugging Face доступен полный список задач и моделей для перевода
translator = pipeline(task="translation_en_to_es", model="Helsinki-NLP/opus-mt-en-es")


text = "Walking amid Gion's Machiya wooden houses was a mesmerizing experience."


output = translator(text, clean_up_tokenization_spaces=True)


print(output[0]["translation_text"])

Caminar entre las casas de madera Machiya de Gion fue una experiencia fascinante.
Введение в LLM на Python

Давайте потренируемся!

Введение в LLM на Python

Preparing Video For Download...