Chúc mừng!

Các mô hình Transformer với PyTorch

James Chapman

Curriculum Manager, DataCamp

Chương 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)

class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

Kiến trúc Transformer như trong bài báo Attention Is All You Need.

Các mô hình Transformer với PyTorch

Transformer chỉ mã hóa (encoder-only)

Kiến trúc transformer chỉ encoder

Transformer chỉ giải mã (decoder-only)

Kiến trúc transformer chỉ decoder

Các mô hình Transformer với PyTorch

Chương 2 - Transformer encoder–decoder

Kiến trúc transformer gốc

Các mô hình Transformer với PyTorch

Tiếp theo là gì?

Vòng lặp huấn luyện PyTorch.

Huấn luyện

 

Tài nguyên bổ sung

Vòng đời LLM

Transformer tiền huấn luyện

Các mô hình Transformer với PyTorch

Ayo berlatih!

Các mô hình Transformer với PyTorch

Preparing Video For Download...