Grattis!

Transformermodeller med PyTorch

James Chapman

Curriculum Manager, DataCamp

Kapitel 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)
class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

Transformerarkitekturen som den presenteras i den akademiska artikeln Attention Is All You Need.

Transformermodeller med PyTorch

Encoder-only transformer

Arkitektur för encoder-only transformer

Decoder-only transformer

Arkitektur för decoder-only transformer

Transformermodeller med PyTorch

Kapitel 2 – Encoder-decoder transformer

Ursprunglig transformerarkitektur

Transformermodeller med PyTorch

Vad händer härnäst?

Transformermodeller med PyTorch

Nu kör vi en övning!

Transformermodeller med PyTorch

Preparing Video For Download...