Finjustera modeller med Trainer

Effektiv AI-modellträning med PyTorch

Dennis Lee

Data Engineer, Amazon

Dataförberedelse

Diagram över distribuerad träning som visar modellreplikering och datadelning.

Distribuerad träning

Flödesschema som illustrerar kursämnen: dataförberedelse, distribuerad träning, effektiv träning och optimerare.

Trainer och Accelerator

Diagram som jämför användarvänlighet och anpassningsbarhet för Accelerator och Trainer.

Trainer och Accelerator

Diagram som jämför användarvänlighet och anpassningsbarhet för Accelerator och Trainer.

Turboladda träningen med Trainer

Trainer-biblioteket
```
from transformers import Trainer
```
Kör modellen parallellt på varje enhet
Snabbar upp träningen, som ett löpande band
Granska indata: dataset, modell, mått
Utveckla sentimentanalys för e-handel

Bild av bilproduktion på löpande band, som illustrerar parallell bearbetning.

Dataset för produktrecensioner

print(dataset)

DatasetDict({
    train: Dataset({
        features: ['Text', 'Label'],
        num_rows: 1000
    }), ...})

print(f'"{dataset["train"]["Text"][0]}": {dataset["train"]["Label"][0]}')

"I love this product!": positive

Konvertera etiketter till heltal

def map_labels(example):
    if example["Label"] == "negative":
        return {"labels": 0}

    else:
        return {"labels": 1}

dataset = dataset.map(map_labels)

print(f'First label: {dataset["train"]["labels"][0]}')

First label: 1

Definiera tokeniserare och modell

Ladda förtränad modell och tokeniserare:

model = AutoModelForSequenceClassification.from_pretrained("distilbert-base-uncased", 
                                                           num_labels=2)

tokenizer = AutoTokenizer.from_pretrained("distilbert-base-uncased")

Tillämpa tokeniseraren på fältet text:

def encode(examples):

    return tokenizer(examples["Text"], padding="max_length", truncation=True, 
                      return_tensors="pt")

dataset = dataset.map(encode, batched=True)

print(f'The first tokenized review is {dataset["train"]["input_ids"][0]}.')

The first tokenized review is [101, 1045, 2293, 2023, 4031, 999, 102].

Definiera utvärderingsmått

import evaluate


def compute_metrics(eval_predictions):

    load_accuracy = evaluate.load("accuracy")
    load_f1 = evaluate.load("f1")

    logits, labels = eval_predictions

    predictions = np.argmax(logits, axis=-1)

    accuracy = load_accuracy.compute(predictions=predictions, references=labels)[
        "accuracy"
    ]

    f1 = load_f1.compute(predictions=predictions, references=labels)["f1"]

    return {"accuracy": accuracy, "f1": f1}

Träningsargument

output_dir: Var modellen sparas
Ange hyperparametrar (t.ex. learning_rate och weight_decay)
save_strategy: Spara efter varje epok
evaluation_strategy: Utvärdera mått efter varje epok

from transformers import (
    TrainingArguments)

training_args = TrainingArguments(
    output_dir="output_folder",

    learning_rate=2e-5,
    per_device_train_batch_size=16,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,

    save_strategy="epoch",
    evaluation_strategy="epoch",
)

Konfigurera Trainer

from transformers import Trainer

trainer = Trainer(model=model,

                  args=training_args,

                  train_dataset=dataset["train"],
                  eval_dataset=dataset["validation"],

                  compute_metrics=compute_metrics)

trainer.train()

{'epoch': 1.0, 'eval_loss': 0.79, 'eval_accuracy': 0.00, 'eval_f1': 0.00}
{'epoch': 2.0, 'eval_loss': 0.65, 'eval_accuracy': 0.11, 'eval_f1': 0.15}

print(trainer.args.device)

cpu

Sentimentanalys för e-handel

sample_review = "This product is amazing!"

input_ids = tokenizer.encode(sample_review, return_tensors='pt')
print(f"Tokenized review: {input_ids}")

Tokenized review: tensor([[ 101, 2023, 4031, 2003, 6429,  999,  102 ]])

Sentimentanalys för e-handel

output = model(input_ids)
print(f"Output logits: {output.logits}")

Output logits: tensor([[ -0.0538, 0.1300 ]])

predicted_label = torch.argmax(output.logits, dim=1).item()
print(f"Predicted label: {predicted_label}")

Predicted label: 1

sentiment = "Negative" if predicted_label == 0 else "Positive"
print(f'The sentiment of the product review is "{sentiment}."')

The sentiment of the product review is "Positive."

Kontrollpunkter med Trainer

Återuppta från senaste kontrollpunkt, som att pausa en film

trainer.train(resume_from_checkpoint=True)

{'epoch': 3.0, 'eval_loss': 0.29, 'eval_accuracy': 0.37, 'eval_f1': 0.51}
{'epoch': 4.0, 'eval_loss': 0.23, 'eval_accuracy': 0.46, 'eval_f1': 0.58}

Återuppta från specifik kontrollpunkt sparad i utdatakatalogen

trainer.train(resume_from_checkpoint="model/checkpoint-1000")

Låt oss öva!

Effektiv AI-modellträning med PyTorch