Usando LLMs pré-treinados

Introdução a LLMs em Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Compreensão de linguagem

Pessoa sentada à mesa com várias tarefas ao redor ilustrando classificação de texto, sumarização, análise de sentimento e perguntas e respostas

Introdução a LLMs em Python

Geração de linguagem

Pessoa sentada à mesa com várias tarefas ao redor ilustrando geração de texto e tradução

Introdução a LLMs em Python

Geração de texto

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)
  • Coerente
  • Significativo
  • Texto parecido com humano
  • eos_token_id: ID do token de fim de sequência
Introdução a LLMs em Python

Geração de texto

Ilustração de duas sequências: we should go, i really like to travel. Inclui IDs de tokens e mostra onde há padding e EOS

  • pad_token_id: preenche até max_length
  • Padding: adicionar tokens
  • Definir como generator.tokenizer.eos_token_id marca o fim do texto útil, aprendido no treino
  • O modelo gera até max_length ou pad_token_id
  • truncation = True
Introdução a LLMs em Python

Geração de texto

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)


print(output[0]["generated_text"])

The Gion neighborhood in Kyoto is famous for its many colorful green forests, such as the 
Red Hill, the Red River and the Red River. The Gion neighborhood is home to the world's 
tallest trees.
  • A saída pode ser ruim se o prompt for vago
Introdução a LLMs em Python

Guiando a saída

generator = pipeline(task="text-generation", model="distilgpt2")


review = "This book was great. I enjoyed the plot twist in Chapter 10."

response = "Dear reader, thank you for your review."

prompt = f"Book review:\n{review}\n\nBook shop response to the review:\n{response}"


output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)

print(output[0]["generated_text"])

Dear reader, thank you for your review. We'd like to thank you for your reading!
Introdução a LLMs em Python

Tradução de idiomas

  • A Hugging Face lista tarefas e modelos de tradução
translator = pipeline(task="translation_en_to_es", model="Helsinki-NLP/opus-mt-en-es")


text = "Walking amid Gion's Machiya wooden houses was a mesmerizing experience."


output = translator(text, clean_up_tokenization_spaces=True)


print(output[0]["translation_text"])

Caminar entre las casas de madera Machiya de Gion fue una experiencia fascinante.
Introdução a LLMs em Python

Vamos praticar!

Introdução a LLMs em Python

Preparing Video For Download...