Antrenament cu precizie mixtă

Antrenament eficient al modelelor AI cu PyTorch

Dennis Lee

Data Engineer, Amazon

Antrenamentul cu precizie mixtă accelerează calculul

Pictograme reprezentând eficiența memoriei, a comunicării și a calculului.

Calcule mai rapide cu precizie redusă

Diagramă ilustrând reprezentarea numerelor în virgulă mobilă în FP32 și FP16.

Calcule mai rapide cu precizie redusă

Diagramă ilustrând reprezentarea numerelor în virgulă mobilă în FP32 și FP16.

Calcule mai rapide cu precizie redusă

Diagramă ilustrând reprezentarea numerelor în virgulă mobilă în FP32 și FP16.

Ce este antrenamentul cu precizie mixtă?

Diagramă ilustrând pașii antrenamentului cu precizie mixtă.

Antrenament cu precizie mixtă: combină calcule FP16 și FP32 pentru accelerarea antrenamentului

Ce este antrenamentul cu precizie mixtă?

Diagramă ilustrând pașii antrenamentului cu precizie mixtă.

Antrenament cu precizie mixtă: combină calcule FP16 și FP32 pentru accelerarea antrenamentului

Ce este antrenamentul cu precizie mixtă?

Diagramă ilustrând pașii antrenamentului cu precizie mixtă.

Antrenament cu precizie mixtă: combină calcule FP16 și FP32 pentru accelerarea antrenamentului
Underflow: o valoare devine 0 deoarece depășește limita de precizie

Ce este antrenamentul cu precizie mixtă?

Diagramă ilustrând pașii antrenamentului cu precizie mixtă.

Antrenament cu precizie mixtă: combină calcule FP16 și FP32 pentru accelerarea antrenamentului
Underflow: o valoare devine 0 deoarece depășește limita de precizie
Scalarea pierderii previne underflow-ul

Ce este antrenamentul cu precizie mixtă?

Diagramă ilustrând pașii antrenamentului cu precizie mixtă.

Antrenament cu precizie mixtă: combină calcule FP16 și FP32 pentru accelerarea antrenamentului
Underflow: o valoare devine 0 deoarece depășește limita de precizie
Scalarea pierderii previne underflow-ul

Ce este antrenamentul cu precizie mixtă?

Diagramă ilustrând pașii antrenamentului cu precizie mixtă.

Antrenament cu precizie mixtă: combină calcule FP16 și FP32 pentru accelerarea antrenamentului
Underflow: o valoare devine 0 deoarece depășește limita de precizie
Scalarea pierderii previne underflow-ul

Ce este antrenamentul cu precizie mixtă?

Diagramă ilustrând pașii antrenamentului cu precizie mixtă.

Antrenament cu precizie mixtă: combină calcule FP16 și FP32 pentru accelerarea antrenamentului
Underflow: o valoare devine 0 deoarece depășește limita de precizie
Scalarea pierderii previne underflow-ul

Ce este antrenamentul cu precizie mixtă?

Diagramă ilustrând pașii antrenamentului cu precizie mixtă.

Antrenament cu precizie mixtă: combină calcule FP16 și FP32 pentru accelerarea antrenamentului
Underflow: o valoare devine 0 deoarece depășește limita de precizie
Scalarea pierderii previne underflow-ul

Implementare cu PyTorch

Grafic comparând ușurința de utilizare vs. capacitatea de personalizare pentru PyTorch, Accelerator și Trainer.

Antrenament cu precizie mixtă folosind PyTorch

scaler = torch.amp.GradScaler()


for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]

    with torch.autocast(device_type="cpu", dtype=torch.float16):

         outputs = model(inputs, labels=targets)
         loss = outputs.loss

    scaler.scale(loss).backward()

    scaler.step(optimizer)

    scaler.update()

    optimizer.zero_grad()

De la PyTorch la Accelerator

Grafic comparând ușurința de utilizare vs. capacitatea de personalizare pentru PyTorch, Accelerator și Trainer.

De la PyTorch la Accelerator

Grafic comparând ușurința de utilizare vs. capacitatea de personalizare pentru PyTorch, Accelerator și Trainer.

Antrenament cu precizie mixtă folosind Accelerator

accelerator = Accelerator(mixed_precision="fp16")


model, optimizer, train_dataloader, lr_scheduler = \
    accelerator.prepare(model, optimizer, train_dataloader, lr_scheduler)


for batch in train_dataloader:
    inputs, targets = batch["input_ids"], batch["labels"]
    outputs = model(inputs, labels=targets)
    loss = outputs.loss
    accelerator.backward(loss)
    optimizer.step()
    optimizer.zero_grad()

De la Accelerator la Trainer

Grafic comparând ușurința de utilizare vs. capacitatea de personalizare pentru PyTorch, Accelerator și Trainer.

De la Accelerator la Trainer

Grafic comparând ușurința de utilizare vs. capacitatea de personalizare pentru PyTorch, Accelerator și Trainer.

Antrenament cu precizie mixtă folosind Trainer

training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    fp16=True
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
    compute_metrics=compute_metrics,
)

trainer.train()

Să exersăm!

Antrenament eficient al modelelor AI cu PyTorch

Preparing Video For Download...