¡Enhorabuena!

Modelos Transformer con PyTorch

James Chapman

Curriculum Manager, DataCamp

Capítulo 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)

class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

La arquitectura transformer como aparece en el artículo académico «Attention Is All You Need».

Modelos Transformer con PyTorch

Transformer solo con codificador

Arquitectura de transformer solo con codificador

Transformer solo con decodificador

Arquitectura de transformer solo con decodificador

Modelos Transformer con PyTorch

Capítulo 2: transformer codificador-decodificador

Arquitectura transformer original

Modelos Transformer con PyTorch

¿Qué sigue?

Un bucle de entrenamiento en PyTorch.

Entrenamiento

 

Recursos adicionales

Ciclo de vida de los LLMs

Transformers preentrenados

Modelos Transformer con PyTorch

¡Vamos a practicar!

Modelos Transformer con PyTorch

Preparing Video For Download...