Використання попередньо навчених LLM

Вступ до LLM у Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Розуміння мови

Людина за столом із кількома завданнями навколо: класифікація тексту, резюмування, аналіз настроїв, запитання й відповіді

Вступ до LLM у Python

Генерація мови

Людина за столом із кількома завданнями навколо: генерація тексту та переклад

Вступ до LLM у Python

Генерація тексту

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)
  • Логічний
  • Змістовний
  • Текст, схожий на людський
  • eos_token_id: ID токена кінця послідовності
Вступ до LLM у Python

Генерація тексту

Ілюстрація двох послідовностей: we should go, i really like to travel. Містить ідентифікатори токенів і показує, де padding та EOS

  • pad_token_id: заповнює порожній простір до max_length
  • Padding: додавання токенів
  • Встановлення generator.tokenizer.eos_token_id позначає кінець змістовного тексту, засвоєне під час навчання
  • Модель генерує до max_length або pad_token_id
  • truncation = True
Вступ до LLM у Python

Генерація тексту

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)


print(output[0]["generated_text"])

The Gion neighborhood in Kyoto is famous for its many colorful green forests, such as the 
Red Hill, the Red River and the Red River. The Gion neighborhood is home to the world's 
tallest trees.
  • Вихід може бути неідеальним, якщо підказка нечітка
Вступ до LLM у Python

Спрямування виходу

generator = pipeline(task="text-generation", model="distilgpt2")


review = "This book was great. I enjoyed the plot twist in Chapter 10."

response = "Dear reader, thank you for your review."

prompt = f"Book review:\n{review}\n\nBook shop response to the review:\n{response}"


output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)

print(output[0]["generated_text"])

Dear reader, thank you for your review. We'd like to thank you for your reading!
Вступ до LLM у Python

Переклад мови

  • Hugging Face має повний перелік завдань і моделей для перекладу
translator = pipeline(task="translation_en_to_es", model="Helsinki-NLP/opus-mt-en-es")


text = "Walking amid Gion's Machiya wooden houses was a mesmerizing experience."


output = translator(text, clean_up_tokenization_spaces=True)


print(output[0]["translation_text"])

Caminar entre las casas de madera Machiya de Gion fue una experiencia fascinante.
Вступ до LLM у Python

Давайте потренуємось!

Вступ до LLM у Python

Preparing Video For Download...