Använda förtränade LLM:er

Introduktion till LLM:er i Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Språkförståelse

Person som sitter vid ett skrivbord med flera uppgifter runt sig som illustrerar textklassificering, sammanfattning, sentimentanalys och frågor och svar

Introduktion till LLM:er i Python

Språkgenerering

Person som sitter vid ett skrivbord med flera uppgifter runt sig som illustrerar textgenerering och översättning

Introduktion till LLM:er i Python

Textgenerering

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)
  • Sammanhängande
  • Meningsfull
  • Människoliknande text
  • eos_token_id: token-ID för sekvensslut
Introduktion till LLM:er i Python

Textgenerering

Illustration av två sekvenser: we should go, i really like to travel. Visar token-ID:n samt var utfyllnad och EOS används

  • pad_token_id: fyller ut till max_length
  • Utfyllnad: lägger till tokens
  • Om värdet sätts till generator.tokenizer.eos_token_id markeras slutet på meningsfull text, inlärt under träning
  • Modellen genererar upp till max_length eller pad_token_id
  • truncation = True
Introduktion till LLM:er i Python

Textgenerering

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)


print(output[0]["generated_text"])

The Gion neighborhood in Kyoto is famous for its many colorful green forests, such as the 
Red Hill, the Red River and the Red River. The Gion neighborhood is home to the world's 
tallest trees.
  • Resultatet kan bli bristfälligt om prompten är vag
Introduktion till LLM:er i Python

Styra utdata

generator = pipeline(task="text-generation", model="distilgpt2")


review = "This book was great. I enjoyed the plot twist in Chapter 10."

response = "Dear reader, thank you for your review."

prompt = f"Book review:\n{review}\n\nBook shop response to the review:\n{response}"


output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)

print(output[0]["generated_text"])

Dear reader, thank you for your review. We'd like to thank you for your reading!
Introduktion till LLM:er i Python

Språköversättning

  • Hugging Face har en fullständig lista över översättningsuppgifter och modeller
translator = pipeline(task="translation_en_to_es", model="Helsinki-NLP/opus-mt-en-es")


text = "Walking amid Gion's Machiya wooden houses was a mesmerizing experience."


output = translator(text, clean_up_tokenization_spaces=True)


print(output[0]["translation_text"])

Caminar entre las casas de madera Machiya de Gion fue una experiencia fascinante.
Introduktion till LLM:er i Python

Nu kör vi en övning!

Introduktion till LLM:er i Python

Preparing Video For Download...