축하합니다!

PyTorch로 배우는 Transformer 모델

James Chapman

Curriculum Manager, DataCamp

챕터 1

model = nn.Transformer(
    d_model=1536,
    nhead=8,
    num_encoder_layers=6,
    num_decoder_layers=6
)

class InputEmbeddings(nn.Module): ...
class PositionalEncoding(nn.Module): ...
class MultiHeadAttention(nn.Module): ...

논문 ‘Attention Is All You Need’에 제시된 트랜스포머 아키텍처.

인코더 전용 트랜스포머 아키텍처

디코더 전용 트랜스포머 아키텍처

원본 트랜스포머 아키텍처

PyTorch 학습 루프.

학습

추가 자료

LLM 수명 주기

사전 학습된 트랜스포머

PyTorch로 배우는 Transformer 모델