Wstępne przetwarzanie obrazów i dźwięku do trenowania

Efektywne trenowanie modeli AI z PyTorch

Dennis Lee

Data Engineer, Amazon

Przygotowanie obrazów i dźwięku

Aplikacja obrazów

Klasyfikacja obrazów do identyfikacji obiektów
Fragmentacja danych

Zdjęcie aplikacji do detekcji obiektów pokazującej samochody na ulicy. Aplikacja działa na telefonie trzymanym przed sceną uliczną.

Aplikacja audio

Obsługa poleceń głosowych
Przykład: „Zmniejsz głośność"

Zdjęcie technologii wspomagającej opartej na dźwięku dla osób niewidomych, umożliwiającej wydawanie poleceń głosowych przez telefon.

Manipulowanie przykładowym zbiorem danych obrazów

print(dataset)

Dataset({
    features: ['img', 'label'],
    num_rows: 1000
})

print(dataset[0]["img"])

<PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=720x480>

Standaryzacja formatu obrazów

Formatowanie obrazów: szerokość, wysokość
Standaryzacja wartości pikseli: średnia, odchylenie standardowe
AutoImageProcessor ładuje wszystkie kroki przetwarzania wstępnego

from transformers import AutoImageProcessor
model = "microsoft/swin-tiny-patch4-window7-224"

image_processor = AutoImageProcessor.from_pretrained(model)

Standaryzacja formatu obrazów

dataset = dataset.map(
    lambda examples: {

        "pixel_values": [

            image_processor(image, return_tensors="pt").pixel_values
            for image in examples["img"]
        ]}, batched=True)

print(dataset)

Dataset({
    features: ['img', 'label', 'pixel_values'],
    num_rows: 1000
})

Manipulowanie przykładowym zbiorem danych audio

print(dataset)

DatasetDict({
    train: Dataset({

        features: ['file', 
                   'audio',

                   'label'],
        num_rows: 1000
    }), ...
})

Standaryzacja formatu audio

Standaryzacja liczby próbek
Częstotliwość próbkowania: liczba próbek na sekundę
Maks. czas trwania: liczba sekund audio

sampling_rate = 16000  # 16 kHz

max_duration = 1  # 1 second

max_length = sampling_rate * max_duration

print(f"max_length = {max_length:,} samples")

max_length = 16,000 samples

Standaryzacja formatu audio

from transformers import AutoFeatureExtractor

model = "facebook/wav2vec2-base"
feature_extractor = AutoFeatureExtractor.from_pretrained(model)


def preprocess_function(split_data):

    audio_arrays = [x["array"] for x in split_data["audio"]]

    inputs = feature_extractor(audio_arrays,

                               sampling_rate=feature_extractor.sampling_rate, 
                               max_length=int(feature_extractor.sampling_rate 
                                              * max_duration),

                               truncation=True)
    return inputs

Zastosowanie funkcji przetwarzania wstępnego

Mapowanie preprocess_function na dataset
remove_columns: usunięcie kolumn audio i file
batched: przetwarzanie przykładów w partiach

dataset = dataset["train"].map(preprocess_function,

                               remove_columns=["audio", "file"],

                               batched=True)

Zastosowanie funkcji przetwarzania wstępnego

print(dataset)

DatasetDict({
    train: Dataset({
        features: ['label', 'input_values'],
        num_rows: 1000
    })

Przygotowanie danych do trenowania rozproszonego

DataLoader: przygotowanie danych do ładowania i iterowania podczas trenowania
accelerator.prepare(): umieszczenie danych na CPU lub GPU w zależności od dostępności
Fragmentacja danych: każdy GPU przetwarza podzbiór danych treningowych, jak dzielenie pizzy na kawałki
accelerator.prepare() działa z DataLoaderami PyTorch (torch.utils.data.DataLoader)

from accelerate import Accelerator
from torch.utils.data import DataLoader

dataloader = DataLoader(dataset, batch_size=32, shuffle=True)


accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)

Czas na ćwiczenia!

Efektywne trenowanie modeli AI z PyTorch