Utiliser des LLM préentraînés

Introduction aux LLM avec Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Compréhension du langage

Personne assise à un bureau, avec des tâches autour illustrant la classification de texte, le résumé, l'analyse de sentiment et questions-réponses

Introduction aux LLM avec Python

Génération de langage

Personne assise à un bureau, avec des tâches autour illustrant la génération de texte et la traduction

Introduction aux LLM avec Python

Génération de texte

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)
  • Cohérent
  • Pertinent
  • Texte proche de l'humain
  • eos_token_id : identifiant du jeton de fin de séquence
Introduction aux LLM avec Python

Génération de texte

Illustration de deux séquences : we should go, i really like to travel. Inclut des identifiants de jetons et montre où se trouvent le remplissage et EOS

  • pad_token_id : remplit l'espace jusqu'à max_length
  • Remplissage (padding) : ajout de jetons
  • Le définir à generator.tokenizer.eos_token_id marque la fin du texte pertinent, appris à l'entraînement
  • Le modèle génère jusqu'à max_length ou pad_token_id
  • truncation = True
Introduction aux LLM avec Python

Génération de texte

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)


print(output[0]["generated_text"])

The Gion neighborhood in Kyoto is famous for its many colorful green forests, such as the 
Red Hill, the Red River and the Red River. The Gion neighborhood is home to the world's 
tallest trees.
  • La sortie peut être sous-optimale si l'amorce est vague
Introduction aux LLM avec Python

Guider la sortie

generator = pipeline(task="text-generation", model="distilgpt2")


review = "This book was great. I enjoyed the plot twist in Chapter 10."

response = "Dear reader, thank you for your review."

prompt = f"Book review:\n{review}\n\nBook shop response to the review:\n{response}"


output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)

print(output[0]["generated_text"])

Dear reader, thank you for your review. We'd like to thank you for your reading!
Introduction aux LLM avec Python

Traduction automatique

  • Hugging Face propose une liste complète de tâches et de modèles de traduction
translator = pipeline(task="translation_en_to_es", model="Helsinki-NLP/opus-mt-en-es")


text = "Walking amid Gion's Machiya wooden houses was a mesmerizing experience."


output = translator(text, clean_up_tokenization_spaces=True)


print(output[0]["translation_text"])

Caminar entre las casas de madera Machiya de Gion fue una experiencia fascinante.
Introduction aux LLM avec Python

Passons à la pratique !

Introduction aux LLM avec Python

Preparing Video For Download...