ยินดีด้วย!

Transformer Models ด้วย PyTorch

James Chapman

Curriculum Manager, DataCamp

บทที่ 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)
class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

สถาปัตยกรรม Transformer ตามที่แสดงในงานวิจัย Attention Is All You Need

Transformer Models ด้วย PyTorch

Encoder-only transformer

สถาปัตยกรรม Encoder-only transformer

Decoder-only transformer

สถาปัตยกรรม Decoder-only transformer

Transformer Models ด้วย PyTorch

บทที่ 2 - Encoder-decoder transformer

สถาปัตยกรรม Transformer ดั้งเดิม

Transformer Models ด้วย PyTorch

ขั้นตอนถัดไป

Training loop ใน PyTorch

การฝึกโมเดล

 

แหล่งข้อมูลเพิ่มเติม

วงจรชีวิตของ LLMs

Transformer ที่ผ่านการ Pre-train แล้ว

Transformer Models ด้วย PyTorch

มาฝึกกันเถอะ!

Transformer Models ด้วย PyTorch

Preparing Video For Download...