Pramuat gambar dan audio untuk pelatihan

Pelatihan Model AI Efisien dengan PyTorch

Dennis Lee

Data Engineer, Amazon

Menyiapkan gambar dan audio

Aplikasi gambar

Klasifikasi gambar untuk mengenali objek
Sharding data

Gambar aplikasi deteksi objek yang menampilkan mobil di jalan. Aplikasi berjalan di ponsel yang dipegang di depan pemandangan jalan.

Aplikasi audio

Beri perintah suara
Contoh: "Kecilkan volumenya"

Gambar teknologi bantu berbasis audio untuk pengguna tunanetra agar dapat memberi perintah suara di ponsel.

Memanipulasi dataset gambar contoh

print(dataset)

Dataset({
    features: ['img', 'label'],
    num_rows: 1000
})

print(dataset[0]["img"])

<PIL.JpegImagePlugin.JpegImageFile image mode=RGB size=720x480>

Standarkan format gambar

Format gambar: lebar, tinggi
Standarkan nilai piksel: mean, standar deviasi
AutoImageProcessor memuat semua langkah praproses

from transformers import AutoImageProcessor
model = "microsoft/swin-tiny-patch4-window7-224"

image_processor = AutoImageProcessor.from_pretrained(model)

Standarkan format gambar

dataset = dataset.map(
    lambda examples: {

        "pixel_values": [

            image_processor(image, return_tensors="pt").pixel_values
            for image in examples["img"]
        ]}, batched=True)

print(dataset)

Dataset({
    features: ['img', 'label', 'pixel_values'],
    num_rows: 1000
})

Memanipulasi dataset audio contoh

print(dataset)

DatasetDict({
    train: Dataset({

        features: ['file', 
                   'audio',

                   'label'],
        num_rows: 1000
    }), ...
})

Standarkan format audio

Standarkan jumlah sampel
Sampling rate: jumlah sampel per detik
Durasi maks: jumlah detik audio

sampling_rate = 16000  # 16 kHz

max_duration = 1  # 1 second

max_length = sampling_rate * max_duration

print(f"max_length = {max_length:,} samples")

max_length = 16,000 samples

Standarkan format audio

from transformers import AutoFeatureExtractor

model = "facebook/wav2vec2-base"
feature_extractor = AutoFeatureExtractor.from_pretrained(model)


def preprocess_function(split_data):

    audio_arrays = [x["array"] for x in split_data["audio"]]

    inputs = feature_extractor(audio_arrays,

                               sampling_rate=feature_extractor.sampling_rate, 
                               max_length=int(feature_extractor.sampling_rate 
                                              * max_duration),

                               truncation=True)
    return inputs

Terapkan fungsi praproses

Peta preprocess_function ke dataset
remove_columns: hapus kolom audio dan file
batched: proses contoh dataset per batch

dataset = dataset["train"].map(preprocess_function,

                               remove_columns=["audio", "file"],

                               batched=True)

Terapkan fungsi praproses

print(dataset)

DatasetDict({
    train: Dataset({
        features: ['label', 'input_values'],
        num_rows: 1000
    })

Siapkan data untuk pelatihan terdistribusi

DataLoader: menyiapkan data untuk dimuat dan diiterasi saat pelatihan
accelerator.prepare(): menempatkan data pada CPU atau GPU sesuai ketersediaan
Sharding data: tiap GPU memproses subset data latih, seperti membagi irisan pizza
accelerator.prepare() bekerja dengan PyTorch DataLoader (torch.utils.data.DataLoader)

from accelerate import Accelerator
from torch.utils.data import DataLoader

dataloader = DataLoader(dataset, batch_size=32, shuffle=True)


accelerator = Accelerator()
dataloader = accelerator.prepare(dataloader)

Ayo berlatih!

Pelatihan Model AI Efisien dengan PyTorch