Eğitim için görüntü ve sesi ön işleyin

PyTorch ile Verimli AI Model Eğitimi

Dennis Lee

Data Engineer, Amazon

Görüntü ve sesi hazırlama

Görüntü uygulaması

Nesne tanıma ile nesneleri belirleme
Veri bölüşümleme

Bir sokaktaki arabaları gösteren nesne tespit uygulaması. Uygulama, sokak sahnesinin önünde ellerde tutulan bir telefonda çalışıyor.

Ses uygulaması

Sesli komutlar sağlama
Örnek: "Sesi kıs"

Görme engelli bireylerin telefonlarında sesli komut kullanmasına yardımcı olan ses tabanlı destek teknolojisi resmi.

Örnek bir görüntü veri kümesini işleme

print(dataset)

Dataset({
    features: ['img', 'label'],
    num_rows: 1000
})

print(dataset[0]["img"])

<PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=720x480>

Görüntü biçimini standartlaştırma

Görüntüleri biçimlendirme: genişlik, yükseklik
Piksel değerlerini standartlaştırma: ortalama, standart sapma
AutoImageProcessor tüm ön işleme adımlarını yükler

from transformers import AutoImageProcessor
model = "microsoft/swin-tiny-patch4-window7-224"

image_processor = AutoImageProcessor.from_pretrained(model)

Görüntü biçimini standartlaştırma

dataset = dataset.map(
    lambda examples: {

        "pixel_values": [

            image_processor(image, return_tensors="pt").pixel_values
            for image in examples["img"]
        ]}, batched=True)

print(dataset)

Dataset({
    features: ['img', 'label', 'pixel_values'],
    num_rows: 1000
})

Örnek bir ses veri kümesini işleme

print(dataset)

DatasetDict({
    train: Dataset({

        features: ['file', 
                   'audio',

                   'label'],
        num_rows: 1000
    }), ...
})

Ses biçimini standartlaştırma

Örnek sayısını standartlaştırın
Örnekleme hızı: Saniyedeki örnek sayısı
Maks. süre: Sesin saniye cinsinden süresi

sampling_rate = 16000  # 16 kHz

max_duration = 1  # 1 second

max_length = sampling_rate * max_duration

print(f"max_length = {max_length:,} samples")

max_length = 16,000 samples

Ses biçimini standartlaştırma

from transformers import AutoFeatureExtractor

model = "facebook/wav2vec2-base"
feature_extractor = AutoFeatureExtractor.from_pretrained(model)


def preprocess_function(split_data):

    audio_arrays = [x["array"] for x in split_data["audio"]]

    inputs = feature_extractor(audio_arrays,

                               sampling_rate=feature_extractor.sampling_rate, 
                               max_length=int(feature_extractor.sampling_rate 
                                              * max_duration),

                               truncation=True)
    return inputs

Ön işleme işlevini uygulayın

preprocess_function işlevini dataset üzerine eşleyin
remove_columns: audio ve file sütunlarını kaldırır
batched: dataset örneklerini toplu işler

dataset = dataset["train"].map(preprocess_function,

                               remove_columns=["audio", "file"],

                               batched=True)

Ön işleme işlevini uygulayın

print(dataset)

DatasetDict({
    train: Dataset({
        features: ['label', 'input_values'],
        num_rows: 1000
    })

Dağıtık eğitim için veriyi hazırlama

DataLoader: eğitime yükleme ve yineleme için veriyi hazırlar
accelerator.prepare(): veriyi uygun CPU/GPU'lara yerleştirir
Veri bölüşümleme: her GPU verinin bir alt kümesini işler
accelerator.prepare(), PyTorch DataLoader'larıyla çalışır (torch.utils.data.DataLoader)

from accelerate import Accelerator
from torch.utils.data import DataLoader

dataloader = DataLoader(dataset, batch_size=32, shuffle=True)


accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)

Hadi pratik yapalım!

PyTorch ile Verimli AI Model Eğitimi