Félicitations !

Modèles Transformer avec PyTorch

James Chapman

Curriculum Manager, DataCamp

Chapitre 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)

class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

Architecture des transformers telle que présentée dans l'article universitaire « Attention Is All You Need ».

Architecture d'un transformer avec encodeur seulement

Architecture d'un transformer avec décodeur seulement

Architecture originale du transformer

Boucle d'entraînement PyTorch.

Entraînement

Ressources supplémentaires

Cycle de vie des LLMs

Transformers préentraînés

Modèles Transformer avec PyTorch