Parabéns!

Modelos Transformer com PyTorch

James Chapman

Curriculum Manager, DataCamp

Capítulo 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)

class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

A arquitetura de transformers mostrada no artigo acadêmico "Attention Is All You Need".

Modelos Transformer com PyTorch

Transformer só com encoder

Arquitetura de transformer só com encoder

Transformer só com decoder

Arquitetura de transformer só com decoder

Modelos Transformer com PyTorch

Capítulo 2 - Transformer encoder-decoder

Arquitetura original do transformer

Modelos Transformer com PyTorch

O que vem depois?

Um loop de treino em PyTorch.

Treinando

 

Recursos adicionais

Ciclo de vida de LLMs

Transformers pré-treinados

Modelos Transformer com PyTorch

Vamos praticar!

Modelos Transformer com PyTorch

Preparing Video For Download...