Korzystanie z wytrenowanych LLM

Wprowadzenie do LLM w Pythonie

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Rozumienie języka

Osoba siedząca przy biurku z zadaniami ilustrującymi klasyfikację tekstu, podsumowywanie, analizę sentymentu i pytania i odpowiedzi

Wprowadzenie do LLM w Pythonie

Generowanie języka

Osoba siedząca przy biurku z zadaniami ilustrującymi generowanie tekstu i tłumaczenie

Wprowadzenie do LLM w Pythonie

Generowanie tekstu

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)
  • Spójny
  • Sensowny
  • Tekst podobny do ludzkiego
  • eos_token_id: identyfikator tokenu końca sekwencji
Wprowadzenie do LLM w Pythonie

Generowanie tekstu

Ilustracja dwóch sekwencji: we should go, i really like to travel. Zawiera identyfikatory tokenów i pokazuje padding oraz EOS

  • pad_token_id: wypełnia przestrzeń do max_length
  • Padding: dodawanie tokenów
  • Ustawienie na generator.tokenizer.eos_token_id oznacza koniec tekstu, wyuczony podczas treningu
  • Model generuje do max_length lub pad_token_id
  • truncation = True
Wprowadzenie do LLM w Pythonie

Generowanie tekstu

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)


print(output[0]["generated_text"])

The Gion neighborhood in Kyoto is famous for its many colorful green forests, such as the 
Red Hill, the Red River and the Red River. The Gion neighborhood is home to the world's 
tallest trees.
  • Wynik może być nieoptymalny, gdy prompt jest nieprecyzyjny
Wprowadzenie do LLM w Pythonie

Sterowanie wynikiem

generator = pipeline(task="text-generation", model="distilgpt2")


review = "This book was great. I enjoyed the plot twist in Chapter 10."

response = "Dear reader, thank you for your review."

prompt = f"Book review:\n{review}\n\nBook shop response to the review:\n{response}"


output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)

print(output[0]["generated_text"])

Dear reader, thank you for your review. We'd like to thank you for your reading!
Wprowadzenie do LLM w Pythonie

Tłumaczenie języków

  • Hugging Face udostępnia pełną listę zadań i modeli tłumaczeniowych
translator = pipeline(task="translation_en_to_es", model="Helsinki-NLP/opus-mt-en-es")


text = "Walking amid Gion's Machiya wooden houses was a mesmerizing experience."


output = translator(text, clean_up_tokenization_spaces=True)


print(output[0]["translation_text"])

Caminar entre las casas de madera Machiya de Gion fue una experiencia fascinante.
Wprowadzenie do LLM w Pythonie

Czas na ćwiczenia!

Wprowadzenie do LLM w Pythonie

Preparing Video For Download...