Glückwunsch!

Transformer-Modelle mit PyTorch

James Chapman

Curriculum Manager, DataCamp

Kapitel 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)

class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

Die Transformer-Architektur aus dem Paper „Attention Is All You Need".

Transformer-Modelle mit PyTorch

Nur-Encoder-Transformer

Nur-Encoder-Transformer-Architektur

Nur-Decoder-Transformer

Nur-Decoder-Transformer-Architektur

Transformer-Modelle mit PyTorch

Kapitel 2 – Encoder-Decoder-Transformer

Ursprüngliche Transformer-Architektur

Transformer-Modelle mit PyTorch

Wie geht's weiter?

Ein PyTorch-Training-Loop.

Training

 

Weitere Ressourcen

LLMs-Lebenszyklus

Vortrainierte Transformer

Transformer-Modelle mit PyTorch

Lass uns üben!

Transformer-Modelle mit PyTorch

Preparing Video For Download...