Giới thiệu về mô hình ngôn ngữ lớn (LLM)

Nhập môn LLMs trong Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Kiến thức trước đó

  • Điều hướng Hugging Face Hub
  • Mô hình học sâu

Hình vẽ não đọc sách

Nhập môn LLMs trong Python

Giới thiệu về LLM

 

Biểu tượng bóng đèn và não thể hiện sự thấu hiểu

Nhập môn LLMs trong Python

Giới thiệu về LLM

 

Minh họa máy tính xách tay thể hiện việc sử dụng

Nhập môn LLMs trong Python

Minh họa trừu tượng về mô hình ngôn ngữ lớn

Nhập môn LLMs trong Python

Minh họa trừu tượng về mô hình ngôn ngữ lớn với bong bóng tóm tắt

Nhập môn LLMs trong Python

Minh họa trừu tượng về mô hình ngôn ngữ lớn với bong bóng tóm tắt và tạo sinh

Nhập môn LLMs trong Python

Minh họa trừu tượng về mô hình ngôn ngữ lớn với bong bóng tóm tắt, tạo sinh và dịch

Nhập môn LLMs trong Python

Minh họa trừu tượng về mô hình ngôn ngữ lớn với bong bóng tóm tắt, tạo sinh, dịch, Hỏi & Đáp

Logo LLM

Nhập môn LLMs trong Python

LLM

 

  • Dựa trên kiến trúc học sâu

 

  • Phổ biến nhất là transformer

 

  • Mạng nơ-ron rất lớn với nhiều tham số và dữ liệu văn bản

Logo Hugging Face

Nhập môn LLMs trong Python

Sử dụng mô hình Hugging Face

from transformers import pipeline


summarizer = pipeline(task="summarization", model="facebook/bart-large-cnn")


text = "Walking amid Gion's Machiya wooden houses is a mesmerizing experience. The 
beautifully preserved structures exuded an old-world charm that transports visitors
back in time, making them feel like they had stepped into a living museum. The glow of 
lanterns lining the narrow streets add to the enchanting ambiance, making each stroll a
memorable journey through Japan's rich cultural history."

summary = summarizer(text, max_length=50)
  • clean_up_tokenization_spaces=True: loại bỏ khoảng trắng thừa
Nhập môn LLMs trong Python

Đầu ra mô hình

print(summary)

[{'summary_text': "Gion's Machiya
  wooden houses exuded an old-world 
  charm that transports visitors back 
  in time. The glow of lanterns lining 
  the narrow streets add to the 
  enchanting ambiance, making each 
  stroll a memorable journey through 
  Japan's"}]

print(summary[0]["summary_text"])

Gion's Machiya wooden houses exuded an 
old-world charm that transports 
visitors back in time. The glow of 
lanterns lining the narrow streets add 
to the enchanting ambiance, making each 
stroll a memorable journey through 
Japan's
Nhập môn LLMs trong Python

Tiếp theo

 

  • Mở rộng kiến thức LLM hiện có
  • Thực hiện tác vụ mới
  • Tìm hiểu cách xây LLM
  • Fine-tune LLM
  • Đánh giá hiệu suất LLM

Lộ trình học tập

Nhập môn LLMs trong Python

Ayo berlatih!

Nhập môn LLMs trong Python

Preparing Video For Download...