Afbeeldingen en audio preprocessen voor training

Efficiënt AI-modellen trainen met PyTorch

Dennis Lee

Data Engineer, Amazon

Afbeeldingen en audio voorbereiden

Afbeeldingstoepassing

Beeldclassificatie om objecten te herkennen
Data sharding

Afbeelding van een objectdetectietoepassing met auto’s op straat. De app draait op een telefoon die voor het straatbeeld wordt vastgehouden.

Audiotoepassing

Spraakopdrachten geven
Voorbeeld: "Zet het volume lager"

Afbeelding van audiogestuurde hulpmiddelen voor slechtzienden om spraakopdrachten op hun telefoon te gebruiken.

Een voorbeeld-afbeeldingsdataset bewerken

print(dataset)

Dataset({
    features: ['img', 'label'],
    num_rows: 1000
})

print(dataset[0]["img"])

<PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=720x480>

Het afbeeldingsformaat standaardiseren

Afbeeldingen formatteren: breedte, hoogte
Pixelwaarden standaardiseren: gemiddelde, standaarddeviatie
AutoImageProcessor laadt alle preprocessing-stappen

from transformers import AutoImageProcessor
model = "microsoft/swin-tiny-patch4-window7-224"

image_processor = AutoImageProcessor.from_pretrained(model)

Het afbeeldingsformaat standaardiseren

dataset = dataset.map(
    lambda examples: {

        "pixel_values": [

            image_processor(image, return_tensors="pt").pixel_values
            for image in examples["img"]
        ]}, batched=True)

print(dataset)

Dataset({
    features: ['img', 'label', 'pixel_values'],
    num_rows: 1000
})

Een voorbeeld-audiodataset bewerken

print(dataset)

DatasetDict({
    train: Dataset({

        features: ['file', 
                   'audio',

                   'label'],
        num_rows: 1000
    }), ...
})

Het audioformaat standaardiseren

Standaardiseer aantal samples
Samplefrequentie: aantal samples per seconde
Max. duur: aantal seconden audio

sampling_rate = 16000  # 16 kHz

max_duration = 1  # 1 second

max_length = sampling_rate * max_duration

print(f"max_length = {max_length:,} samples")

max_length = 16,000 samples

Het audioformaat standaardiseren

from transformers import AutoFeatureExtractor

model = "facebook/wav2vec2-base"
feature_extractor = AutoFeatureExtractor.from_pretrained(model)


def preprocess_function(split_data):

    audio_arrays = [x["array"] for x in split_data["audio"]]

    inputs = feature_extractor(audio_arrays,

                               sampling_rate=feature_extractor.sampling_rate, 
                               max_length=int(feature_extractor.sampling_rate 
                                              * max_duration),

                               truncation=True)
    return inputs

Pas de preprocessingfunctie toe

Map de preprocess_function op de dataset
remove_columns: verwijder kolommen audio en file
batched: verwerk dataset-voorbeelden in batches

dataset = dataset["train"].map(preprocess_function,

                               remove_columns=["audio", "file"],

                               batched=True)

Pas de preprocessingfunctie toe

print(dataset)

DatasetDict({
    train: Dataset({
        features: ['label', 'input_values'],
        num_rows: 1000
    })

Data voorbereiden voor gedistribueerde training

DataLoader: bereidt data voor laden en itereren tijdens training
accelerator.prepare(): plaatst data op CPU’s of GPU’s indien beschikbaar
Data sharding: elke GPU verwerkt een deel van de trainingsdata, zoals pizzapunten verdelen
accelerator.prepare() werkt met PyTorch DataLoaders (torch.utils.data.DataLoader)

from accelerate import Accelerator
from torch.utils.data import DataLoader

dataloader = DataLoader(dataset, batch_size=32, shuffle=True)


accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)

Laten we oefenen!

Efficiënt AI-modellen trainen met PyTorch