Вітаємо!

Моделі Transformer з PyTorch

James Chapman

Curriculum Manager, DataCamp

Розділ 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)
class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

Архітектура трансформера з наукової статті Attention Is All You Need.

Моделі Transformer з PyTorch

Трансформер лише з енкодером

Архітектура трансформера лише з енкодером

Трансформер лише з декодером

Архітектура трансформера лише з декодером

Моделі Transformer з PyTorch

Розділ 2 — Трансформер енкодер–декодер

Оригінальна архітектура трансформера

Моделі Transformer з PyTorch

Що далі?

Цикл навчання в PyTorch.

Навчання

 

Додаткові матеріали

Життєвий цикл LLM

Попередньо навчені трансформери

Моделі Transformer з PyTorch

Давайте потренуємось!

Моделі Transformer з PyTorch

Preparing Video For Download...