Tìm hiểu về transformer

Nhập môn LLMs trong Python

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Transformer là gì?

  • Kiến trúc deep learning
  • Xử lý, hiểu và sinh văn bản
  • Dùng trong hầu hết LLM
  • Xử lý chuỗi văn bản dài song song

Minh họa ba kiến trúc transformer: chỉ encoder, chỉ decoder và encoder-decoder

Nhập môn LLMs trong Python

Kiến trúc transformer

Minh họa ba kiến trúc transformer: chỉ encoder, chỉ decoder và encoder-decoder

  • Xem chi tiết kiến trúc trong model card của Hugging Face
Nhập môn LLMs trong Python

Chỉ encoder

Minh họa chỉ encoder

  • Hiểu văn bản đầu vào
  • Không tạo đầu ra theo chuỗi
  • Nhiệm vụ phổ biến:
    • Phân loại văn bản
    • Phân tích cảm xúc
    • Hỏi-đáp trích xuất (trích xuất hoặc gán nhãn)
  • Các mô hình BERT
  • Ví dụ: "distilbert-base-uncased-distilled-squad"
Nhập môn LLMs trong Python

Chỉ encoder

Minh họa chỉ encoder

llm = pipeline(model="bert-base-uncased")
print(llm.model)

BertForMaskedLM(
  (bert): ...
    )
    (encoder): BertEncoder(
      ...

print(llm.model.config)

BertConfig {
...
  "architectures": [
    "BertForMaskedLM"
...
Nhập môn LLMs trong Python

Chỉ encoder

Minh họa chỉ encoder

print(llm.model.config.is_decoder)

False
  • Cách khác: llm.model.config.is_encoder_decoder
Nhập môn LLMs trong Python

Chỉ decoder

Minh họa chỉ decoder

  • Tập trung vào đầu ra
  • Nhiệm vụ phổ biến:
    • Sinh văn bản
    • Hỏi-đáp sinh (câu hoặc đoạn văn)
  • Các mô hình GPT
  • Ví dụ: "gpt-5.4-mini"
Nhập môn LLMs trong Python

Chỉ decoder

Minh họa chỉ decoder

llm = pipeline(model="gpt2")
print(llm.model.config)

GPT2Config {
...
  "architectures": [
    "GPT2LMHeadModel"
  ],
...
  "task_specific_params": {
    "text-generation": {
...

print(llm.model.config.is_decoder)

False
Nhập môn LLMs trong Python

Encoder-decoder

Minh họa encoder-decoder

  • Hiểu và xử lý cả đầu vào lẫn đầu ra
  • Nhiệm vụ phổ biến:
    • Dịch máy
    • Tóm tắt văn bản
  • Các mô hình T5, BART
Nhập môn LLMs trong Python

Encoder-decoder

Minh họa encoder-decoder

llm = pipeline(model="Helsinki-NLP/opus-mt-es-en")
print(llm.model)

MarianMTModel(
...
    (encoder): MarianEncoder(
...
    (decoder): MarianDecoder(
...
Nhập môn LLMs trong Python

Encoder-decoder

Minh họa encoder-decoder

print(llm.model.config)

MarianConfig {
...
  "decoder_attention_heads": 8,
...
  "encoder_attention_heads": 8,
...
  "is_encoder_decoder": true,
...

print(llm.model.config.is_encoder_decoder)

True
Nhập môn LLMs trong Python

Cùng luyện tập nào!

Nhập môn LLMs trong Python

Preparing Video For Download...