Complimenti!

Modelli Transformer con PyTorch

James Chapman

Curriculum Manager, DataCamp

Capitolo 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)

class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

L'architettura dei transformer come mostrata nell'articolo accademico Attention Is All You Need.

Modelli Transformer con PyTorch

Transformer solo encoder

Architettura di un transformer solo encoder

Transformer solo decoder

Architettura di un transformer solo decoder

Modelli Transformer con PyTorch

Capitolo 2 - Transformer encoder-decoder

Architettura originale del transformer

Modelli Transformer con PyTorch

E ora?

Un ciclo di training in PyTorch.

Training

 

Risorse aggiuntive

Ciclo di vita degli LLM

Transformer pre-addestrati

Modelli Transformer con PyTorch

Esercitiamoci!

Modelli Transformer con PyTorch

Preparing Video For Download...