Menggunakan LLM pra-latih

Pengantar LLM di Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Pemahaman bahasa

Orang duduk di meja dengan beberapa tugas di sekelilingnya yang menggambarkan klasifikasi teks, peringkasan, analisis sentimen, serta tanya jawab

Pengantar LLM di Python

Pembuatan bahasa

Orang duduk di meja dengan beberapa tugas di sekelilingnya yang menggambarkan pembuatan teks dan penerjemahan

Pengantar LLM di Python

Generasi teks

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)
  • Koheren
  • Bermakna
  • Teks mirip manusia
  • eos_token_id: ID token akhir urutan
Pengantar LLM di Python

Generasi teks

Ilustrasi dua urutan: we should go, i really like to travel. Menyertakan ID token dan menunjukkan lokasi padding dan EOS

  • pad_token_id: mengisi ruang ekstra hingga max_length
  • Padding: menambah token
  • Disetel ke generator.tokenizer.eos_token_id menandai akhir teks bermakna, dipelajari saat pelatihan
  • Model menghasilkan hingga max_length atau pad_token_id
  • truncation = True
Pengantar LLM di Python

Generasi teks

generator = pipeline(task="text-generation", model="distilgpt2")

prompt = "The Gion neighborhood in Kyoto is famous for"

output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)


print(output[0]["generated_text"])

The Gion neighborhood in Kyoto is famous for its many colorful green forests, such as the 
Red Hill, the Red River and the Red River. The Gion neighborhood is home to the world's 
tallest trees.
  • Output bisa kurang optimal jika prompt samar
Pengantar LLM di Python

Mengarahkan output

generator = pipeline(task="text-generation", model="distilgpt2")


review = "This book was great. I enjoyed the plot twist in Chapter 10."

response = "Dear reader, thank you for your review."

prompt = f"Book review:\n{review}\n\nBook shop response to the review:\n{response}"


output = generator(prompt, max_length=100, pad_token_id=generator.tokenizer.eos_token_id)

print(output[0]["generated_text"])

Dear reader, thank you for your review. We'd like to thank you for your reading!
Pengantar LLM di Python

Penerjemahan bahasa

  • Hugging Face memiliki daftar lengkap tugas dan model terjemahan
translator = pipeline(task="translation_en_to_es", model="Helsinki-NLP/opus-mt-en-es")


text = "Walking amid Gion's Machiya wooden houses was a mesmerizing experience."


output = translator(text, clean_up_tokenization_spaces=True)


print(output[0]["translation_text"])

Caminar entre las casas de madera Machiya de Gion fue una experiencia fascinante.
Pengantar LLM di Python

Ayo berlatih!

Pengantar LLM di Python

Preparing Video For Download...