Förbearbeta bilder och ljud för träning

Effektiv AI-modellträning med PyTorch

Dennis Lee

Data Engineer, Amazon

Förbereda bilder och ljud

Bildapplikation

Bildklassificering för att identifiera objekt
Datadelning

Bild av en objektdetekteringsapplikation som visar bilar på en gata. Applikationen körs på en telefon som hålls av händer framför gatubilden.

Ljudapplikation

Ge röstkommandon
Exempel: "Sänk volymen"

Bild av ljudbaserad hjälpteknik för synskadade som använder röstkommandon på sin telefon.

Hantera ett exempeldataset med bilder

print(dataset)

Dataset({
    features: ['img', 'label'],
    num_rows: 1000
})

print(dataset[0]["img"])

<PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=720x480>

Standardisera bildformatet

Formatera bilder: bredd, höjd
Standardisera pixelvärden: medelvärde, standardavvikelse
AutoImageProcessor läser in alla förbearbetningssteg

from transformers import AutoImageProcessor
model = "microsoft/swin-tiny-patch4-window7-224"

image_processor = AutoImageProcessor.from_pretrained(model)

Standardisera bildformatet

dataset = dataset.map(
    lambda examples: {

        "pixel_values": [

            image_processor(image, return_tensors="pt").pixel_values
            for image in examples["img"]
        ]}, batched=True)

print(dataset)

Dataset({
    features: ['img', 'label', 'pixel_values'],
    num_rows: 1000
})

Hantera ett exempeldataset med ljud

print(dataset)

DatasetDict({
    train: Dataset({

        features: ['file', 
                   'audio',

                   'label'],
        num_rows: 1000
    }), ...
})

Standardisera ljudformatet

Standardisera antal sampel
Samplingsfrekvens: antal sampel per sekund
Max-duration: antal sekunders ljud

sampling_rate = 16000  # 16 kHz

max_duration = 1  # 1 second

max_length = sampling_rate * max_duration

print(f"max_length = {max_length:,} samples")

max_length = 16,000 samples

Standardisera ljudformatet

from transformers import AutoFeatureExtractor

model = "facebook/wav2vec2-base"
feature_extractor = AutoFeatureExtractor.from_pretrained(model)


def preprocess_function(split_data):

    audio_arrays = [x["array"] for x in split_data["audio"]]

    inputs = feature_extractor(audio_arrays,

                               sampling_rate=feature_extractor.sampling_rate, 
                               max_length=int(feature_extractor.sampling_rate 
                                              * max_duration),

                               truncation=True)
    return inputs

Tillämpa förbearbetningsfunktionen

Mappa preprocess_function till dataset
remove_columns: ta bort kolumnerna audio och file
batched: bearbeta dataset-exempel i batchar

dataset = dataset["train"].map(preprocess_function,

                               remove_columns=["audio", "file"],

                               batched=True)

Tillämpa förbearbetningsfunktionen

print(dataset)

DatasetDict({
    train: Dataset({
        features: ['label', 'input_values'],
        num_rows: 1000
    })

Förbered data för distribuerad träning

DataLoader: förbereder data för inläsning och iteration under träning
accelerator.prepare(): placerar data på CPU:er eller GPU:er baserat på tillgänglighet
Datadelning: varje GPU bearbetar en delmängd av träningsdatan, likt att dela en pizza i skivor
accelerator.prepare() fungerar med PyTorch DataLoaders (torch.utils.data.DataLoader)

from accelerate import Accelerator
from torch.utils.data import DataLoader

dataloader = DataLoader(dataset, batch_size=32, shuffle=True)


accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)

Låt oss öva!

Effektiv AI-modellträning med PyTorch