ทำความเข้าใจ transformer

Python เบื้องต้นสำหรับ LLMs

Jasmin Ludolf

Senior Data Science Content Developer, DataCamp

Transformer คืออะไร?

ภาพประกอบสถาปัตยกรรม transformer สามแบบ: encoder-only, decoder-only และ encoder-decoder

ภาพประกอบสถาปัตยกรรม transformer สามแบบ: encoder-only, decoder-only และ encoder-decoder

ภาพประกอบ encoder-only

เข้าใจข้อความอินพุต
ไม่มีเอาต์พุตแบบลำดับ
งานที่พบบ่อย:
- การจำแนกข้อความ
- การวิเคราะห์ความรู้สึก
- การตอบคำถามแบบ extractive (ดึงหรือติดป้ายกำกับ)
โมเดล BERT
ตัวอย่าง: "distilbert-base-uncased-distilled-squad"

ภาพประกอบ encoder-only

llm = pipeline(model="bert-base-uncased")
print(llm.model)

BertForMaskedLM(
  (bert): ...
    )
    (encoder): BertEncoder(
      ...

print(llm.model.config)

BertConfig {
...
  "architectures": [
    "BertForMaskedLM"
...

ภาพประกอบ encoder-only

print(llm.model.config.is_decoder)

False

ภาพประกอบ decoder-only

ภาพประกอบ decoder-only

llm = pipeline(model="gpt2")
print(llm.model.config)

GPT2Config {
...
  "architectures": [
    "GPT2LMHeadModel"
  ],
...
  "task_specific_params": {
    "text-generation": {
...

print(llm.model.config.is_decoder)

False

ภาพประกอบ encoder-decoder

ภาพประกอบ encoder-decoder

llm = pipeline(model="Helsinki-NLP/opus-mt-es-en")
print(llm.model)

MarianMTModel(
...
    (encoder): MarianEncoder(
...
    (decoder): MarianDecoder(
...

ภาพประกอบ encoder-decoder

print(llm.model.config)

MarianConfig {
...
  "decoder_attention_heads": 8,
...
  "encoder_attention_heads": 8,
...
  "is_encoder_decoder": true,
...

print(llm.model.config.is_encoder_decoder)

True

Python เบื้องต้นสำหรับ LLMs