Félicitations !

Modèles Transformer avec PyTorch

James Chapman

Curriculum Manager, DataCamp

Chapitre 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)

class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

L'architecture Transformer telle que présentée dans l'article académique « Attention Is All You Need ».

Architecture d'un Transformer avec encodeur seul

Architecture d'un Transformer avec décodeur seul

Architecture Transformer originale

Boucle d'entraînement PyTorch.

Entraînement

Ressources supplémentaires

Cycle de vie des LLMs

Transformers pré-entraînés

Modèles Transformer avec PyTorch