Träning med blandad precision

Effektiv AI-modellträning med PyTorch

Dennis Lee

Data Engineer, Amazon

Träning med blandad precision snabbar upp beräkningar

Ikoner som representerar minneseffektivitet, kommunikationseffektivitet och beräkningseffektivitet.

Snabbare beräkningar med lägre precision

Diagram som visar hur flyttalsvärden representeras i FP32 och FP16.

Snabbare beräkningar med lägre precision

Diagram som visar hur flyttalsvärden representeras i FP32 och FP16.

Snabbare beräkningar med lägre precision

Diagram som visar hur flyttalsvärden representeras i FP32 och FP16.

Vad är träning med blandad precision?

Diagram som illustrerar stegen i träning med blandad precision.

Träning med blandad precision: kombinerar FP16- och FP32-beräkningar för snabbare träning

Vad är träning med blandad precision?

Diagram som illustrerar stegen i träning med blandad precision.

Träning med blandad precision: kombinerar FP16- och FP32-beräkningar för snabbare träning

Vad är träning med blandad precision?

Diagram som illustrerar stegen i träning med blandad precision.

Träning med blandad precision: kombinerar FP16- och FP32-beräkningar för snabbare träning
Underflöde: ett tal sjunker till 0 eftersom det underskrider precisionsgränsen

Vad är träning med blandad precision?

Diagram som illustrerar stegen i träning med blandad precision.

Träning med blandad precision: kombinerar FP16- och FP32-beräkningar för snabbare träning
Underflöde: ett tal sjunker till 0 eftersom det underskrider precisionsgränsen
Skala förlusten för att förhindra underflöde

Vad är träning med blandad precision?

Diagram som illustrerar stegen i träning med blandad precision.

Träning med blandad precision: kombinerar FP16- och FP32-beräkningar för snabbare träning
Underflöde: ett tal sjunker till 0 eftersom det underskrider precisionsgränsen
Skala förlusten för att förhindra underflöde

Vad är träning med blandad precision?

Diagram som illustrerar stegen i träning med blandad precision.

Träning med blandad precision: kombinerar FP16- och FP32-beräkningar för snabbare träning
Underflöde: ett tal sjunker till 0 eftersom det underskrider precisionsgränsen
Skala förlusten för att förhindra underflöde

Vad är träning med blandad precision?

Diagram som illustrerar stegen i träning med blandad precision.

Träning med blandad precision: kombinerar FP16- och FP32-beräkningar för snabbare träning
Underflöde: ett tal sjunker till 0 eftersom det underskrider precisionsgränsen
Skala förlusten för att förhindra underflöde

Vad är träning med blandad precision?

Diagram som illustrerar stegen i träning med blandad precision.

Träning med blandad precision: kombinerar FP16- och FP32-beräkningar för snabbare träning
Underflöde: ett tal sjunker till 0 eftersom det underskrider precisionsgränsen
Skala förlusten för att förhindra underflöde

Implementering med PyTorch

Diagram som jämför användarvänlighet och anpassningsbarhet för PyTorch, Accelerator och Trainer.

Träning med blandad precision med PyTorch

scaler = torch.amp.GradScaler()


for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]

    with torch.autocast(device_type="cpu", dtype=torch.float16):

         outputs = model(inputs, labels=targets)
         loss = outputs.loss

    scaler.scale(loss).backward()

    scaler.step(optimizer)

    scaler.update()

    optimizer.zero_grad()

Från PyTorch till Accelerator

Diagram som jämför användarvänlighet och anpassningsbarhet för PyTorch, Accelerator och Trainer.

Från PyTorch till Accelerator

Diagram som jämför användarvänlighet och anpassningsbarhet för PyTorch, Accelerator och Trainer.

Träning med blandad precision med Accelerator

accelerator = Accelerator(mixed_precision="fp16")


model, optimizer, train_dataloader, lr_scheduler = \
    accelerator.prepare(model, optimizer, train_dataloader, lr_scheduler)


for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    accelerator.backward(loss)
    optimizer.step()
    optimizer.zero_grad()

Från Accelerator till Trainer

Diagram som jämför användarvänlighet och anpassningsbarhet för PyTorch, Accelerator och Trainer.

Från Accelerator till Trainer

Diagram som jämför användarvänlighet och anpassningsbarhet för PyTorch, Accelerator och Trainer.

Träning med blandad precision med Trainer

training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    fp16=True
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
    compute_metrics=compute_metrics,
)

trainer.train()

Låt oss öva!

Effektiv AI-modellträning med PyTorch

Preparing Video For Download...