Felicitări!

Modele Transformer cu PyTorch

James Chapman

Curriculum Manager, DataCamp

Capitolul 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)

class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

Arhitectura transformer din lucrarea academică „Attention Is All You Need".

Modele Transformer cu PyTorch

Transformer doar cu encoder

Arhitectura transformer doar cu encoder

Transformer doar cu decoder

Arhitectura transformer doar cu decoder

Modele Transformer cu PyTorch

Capitolul 2 - Transformer encoder-decoder

Arhitectura originală a transformerului

Modele Transformer cu PyTorch

Ce urmează?

O buclă de antrenament PyTorch.

Antrenament

 

Resurse suplimentare

Ciclul de viață al LLM-urilor

Transformere pre-antrenate

Modele Transformer cu PyTorch

Să exersăm!

Modele Transformer cu PyTorch

Preparing Video For Download...