Önceden eğitilmiş LLM'ler kullanma

Python ile LLM'lere Giriş

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Dili anlama

Masa başında oturan kişi; metin sınıflandırma, özetleme, duygu analizi ve soru-cevap görevlerini gösteren görsellerle çevrili

Python ile LLM'lere Giriş

Dili üretme

Masa başında oturan kişi; metin üretimi ve çeviriyi gösteren görsellerle çevrili

Python ile LLM'lere Giriş

Metin üretimi

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)
  • Tutarlı
  • Anlamlı
  • İnsana benzer metin
  • eos_token_id: dizinin sonu belirteç kimliği
Python ile LLM'lere Giriş

Metin üretimi

İki dizi görseli: we should go, i really like to travel. Belirteç kimlikleri, dolgu ve EOS konumlarıyla birlikte

  • pad_token_id: max_length sınırına kadar boşluğu doldurur
  • Padding: belirteç ekleme
  • generator.tokenizer.eos_token_id olarak ayarlamak, eğitimin öğrettiği anlamlı metin sonunu işaretler
  • Model max_lengthe veya pad_token_idye kadar üretir
  • truncation = True
Python ile LLM'lere Giriş

Metin üretimi

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)


print(output[0]["generated_text"])

The Gion neighborhood in Kyoto is famous for its many colorful green forests, such as the 
Red Hill, the Red River and the Red River. The Gion neighborhood is home to the world's 
tallest trees.
  • İpucu belirsizse çıktı yetersiz olabilir
Python ile LLM'lere Giriş

Çıktıyı yönlendirme

generator = pipeline(task="text-generation", model="distilgpt2")


review = "This book was great. I enjoyed the plot twist in Chapter 10."

response = "Dear reader, thank you for your review."

prompt = f"Book review:\n{review}\n\nBook shop response to the review:\n{response}"


output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)

print(output[0]["generated_text"])

Dear reader, thank you for your review. We'd like to thank you for your reading!
Python ile LLM'lere Giriş

Dil çevirisi

  • Hugging Face, çeviri görevleri ve modellerinin tam listesini sunar
translator = pipeline(task="translation_en_to_es", model="Helsinki-NLP/opus-mt-en-es")


text = "Walking amid Gion's Machiya wooden houses was a mesmerizing experience."


output = translator(text, clean_up_tokenization_spaces=True)


print(output[0]["translation_text"])

Caminar entre las casas de madera Machiya de Gion fue una experiencia fascinante.
Python ile LLM'lere Giriş

Hadi pratik yapalım!

Python ile LLM'lere Giriş

Preparing Video For Download...