Gratulacje!

Modele Transformer w PyTorch

James Chapman

Curriculum Manager, DataCamp

Rozdział 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)
class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

Architektura transformera przedstawiona w artykule naukowym „Attention Is All You Need".

Modele Transformer w PyTorch

Transformer tylko z enkoderem

Architektura transformera tylko z enkoderem

Transformer tylko z dekoderem

Architektura transformera tylko z dekoderem

Modele Transformer w PyTorch

Rozdział 2 – Transformer enkoder-dekoder

Oryginalna architektura transformera

Modele Transformer w PyTorch

Co dalej?

Modele Transformer w PyTorch

Czas na ćwiczenia!

Modele Transformer w PyTorch

Preparing Video For Download...