恭喜！

使用 PyTorch 的 Transformer 模型

James Chapman

Curriculum Manager, DataCamp

第 1 章

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)

class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

Transformer 架构（论文《Attention Is All You Need》中的示意图）。

使用 PyTorch 的 Transformer 模型

仅编码器的 Transformer

仅编码器的 Transformer 架构

仅解码器的 Transformer

仅解码器的 Transformer 架构

使用 PyTorch 的 Transformer 模型

第 2 章——编码器-解码器 Transformer

原始 Transformer 架构

使用 PyTorch 的 Transformer 模型

接下来做什么？

PyTorch 训练循环。

训练

 

更多资源

LLM 生命周期

预训练的 Transformer

使用 PyTorch 的 Transformer 模型

让我们练习！

使用 PyTorch 的 Transformer 模型

Preparing Video For Download...