おめでとうございます!

PyTorchで学ぶTransformerモデル

James Chapman

Curriculum Manager, DataCamp

チャプター 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)
class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

論文「Attention Is All You Need」に示されたトランスフォーマーのアーキテクチャ。

PyTorchで学ぶTransformerモデル

エンコーダのみのトランスフォーマー

エンコーダのみのアーキテクチャ

デコーダのみのトランスフォーマー

デコーダのみのアーキテクチャ

PyTorchで学ぶTransformerモデル

チャプター 2 - エンコーダ・デコーダ型トランスフォーマー

オリジナルのトランスフォーマーアーキテクチャ

PyTorchで学ぶTransformerモデル

次のステップ

PyTorchで学ぶTransformerモデル

練習しましょう

PyTorchで学ぶTransformerモデル

Preparing Video For Download...