Поздравляем!

Трансформерные модели с PyTorch

James Chapman

Curriculum Manager, DataCamp

Глава 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)
class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

Архитектура трансформера из академической статьи «Attention Is All You Need».

Трансформерные модели с PyTorch

Трансформер на основе энкодера

Архитектура трансформера на основе энкодера

Трансформер на основе декодера

Архитектура трансформера на основе декодера

Трансформерные модели с PyTorch

Глава 2 – Трансформер «энкодер–декодер»

Оригинальная архитектура трансформера

Трансформерные модели с PyTorch

Что дальше?

Цикл обучения в PyTorch.

Обучение

 

Дополнительные ресурсы

Жизненный цикл LLM

Предобученные трансформеры

Трансформерные модели с PyTorch

Давайте потренируемся!

Трансформерные модели с PyTorch

Preparing Video For Download...