AutoModel ve Accelerator ile modelleri hazırlayın

PyTorch ile Verimli AI Model Eğitimi

Dennis Lee

Data Engineer, Amazon

Eğitmeninizle tanışın!

$$

  • Veri mühendisi

Eğitmen fotoğrafı

Sunucu ikonu

PyTorch ile Verimli AI Model Eğitimi

Eğitmeninizle tanışın!

$$

  • Veri mühendisi
  • Veri bilimci

Eğitmen fotoğrafı

Sunucu ve ampul ikonları

PyTorch ile Verimli AI Model Eğitimi

Eğitmeninizle tanışın!

$$

  • Veri mühendisi
  • Veri bilimci
  • Elektrik Mühendisliği doktora

Eğitmen fotoğrafı

Sunucu, ampul ve kep ikonları

PyTorch ile Verimli AI Model Eğitimi

Eğitmeninizle tanışın!

$$

  • Veri mühendisi
  • Veri bilimci
  • Elektrik Mühendisliği doktora

Eğitmen fotoğrafı

Sunucu, ampul ve kep ikonları

$$

$$

$$

En iyi uygulamaları paylaşmak için heyecanlıyım!

PyTorch ile Verimli AI Model Eğitimi

Verimli AI eğitimi için yol haritamız

  • Dağıtık yapay zeka model eğitimi

Dizüstü bilgisayar

PyTorch ile Verimli AI Model Eğitimi

Verimli AI eğitimi için yol haritamız

  • Dağıtık yapay zeka model eğitimi

Bir dizüstü ve bekleyen kişi

PyTorch ile Verimli AI Model Eğitimi

Verimli AI eğitimi için yol haritamız

  • Dağıtık yapay zeka model eğitimi

Bir dizüstü, bekleyen kişi ve bellek yongası

  • ↓ ↓ Büyük dil modellerinde eğitim süresi

Bir takvim

PyTorch ile Verimli AI Model Eğitimi

Verimli AI eğitimi için yol haritamız

Kurs konularını gösteren akış şeması: veri hazırlama, dağıtık eğitim, verimli eğitim ve optimize ediciler.

$$

  • Veri hazırlama: veriyi birden çok cihaza yerleştirme
PyTorch ile Verimli AI Model Eğitimi

Verimli AI eğitimi için yol haritamız

Kurs konularını gösteren akış şeması: veri hazırlama, dağıtık eğitim, verimli eğitim ve optimize ediciler.

$$

  • Veri hazırlama: veriyi birden çok cihaza yerleştirme
  • Dağıtık eğitim: eğitimi birden çok cihaza ölçekleme
PyTorch ile Verimli AI Model Eğitimi

Verimli AI eğitimi için yol haritamız

Kurs konularını gösteren akış şeması: veri hazırlama, dağıtık eğitim, verimli eğitim ve optimize ediciler.

$$

  • Veri hazırlama: veriyi birden çok cihaza yerleştirme
  • Dağıtık eğitim: eğitimi birden çok cihaza ölçekleme
  • Verimli eğitim: mevcut cihazları optimize etme
PyTorch ile Verimli AI Model Eğitimi

Verimli AI eğitimi için yol haritamız

Kurs konularını gösteren akış şeması: veri hazırlama, dağıtık eğitim, verimli eğitim ve optimize ediciler.

$$

  • Veri hazırlama: veriyi birden çok cihaza yerleştirme
  • Dağıtık eğitim: eğitimi birden çok cihaza ölçekleme
  • Verimli eğitim: mevcut cihazları optimize etme
  • Optimize ediciler: eğitimi hızlandırma
PyTorch ile Verimli AI Model Eğitimi

CPU'lar

  • Çoğu dizüstüde CPU vardır

         

CPU'lu bir dizüstü

GPU'lar

  • GPU'lar büyük modelleri eğitebilir

         

GPU'lu bir dizüstü

PyTorch ile Verimli AI Model Eğitimi

CPU'lar vs GPU'lar

CPU'lar

  • Çoğu dizüstüde CPU vardır
  • Genel amaçlı hesaplama için tasarlanmıştır
  • Daha iyi kontrol akışı

         

Günlük işler için kullanılan dizüstü

GPU'lar

  • GPU'lar büyük modelleri eğitebilir
  • Yoğun paralel hesaplamada uzmandır
  • Matris işlemlerinde mükemmeldir

         

Paralel hesaplama için kullanılan dizüstü

PyTorch ile Verimli AI Model Eğitimi

Dağıtık eğitim

Model çoğaltma ve veri parçalama gösteren dağıtık eğitim diyagramı.

  • Veri parçalama: her cihaz verinin bir alt kümesini paralel işler
PyTorch ile Verimli AI Model Eğitimi

Dağıtık eğitim

Model çoğaltma ve veri parçalama gösteren dağıtık eğitim diyagramı.

  • Veri parçalama: her cihaz verinin bir alt kümesini paralel işler
  • Model çoğaltma: her cihaz ileri/geri geçişleri yürütür
  • Gradyan toplama: atanmış cihaz gradyanları toplar
  • Parametre senkronizasyonu: atanmış cihaz güncellenen parametreleri paylaşır
PyTorch ile Verimli AI Model Eğitimi

Çabasız verimlilik: önceden eğitilmiş modellerden yararlanma

  • Önceden eğitilmiş Transformer modellerinden yararlanın
  • AutoModelForSequenceClassification çağırarak model parametrelerini başlatın
  • Yapılandırmayı görüntüleyin
from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained(model_name)

print(model.config)

DistilBertConfig {
  "architectures": ["DistilBertForMaskedLM"],
  "dim": 768,
  "dropout": 0.1,
  "hidden_dim": 3072,
  ...
PyTorch ile Verimli AI Model Eğitimi

Accelerator ile cihaz yerleşimi

  • Bir Hugging Face sınıfı 🤗
  • Accelerator bilgisayarımızda hangi cihazların olduğunu algılar
  • Cihaz yerleşimi ve veri paralelliğini otomatikleştirir: accelerator.prepare()
  • Modeli (torch.nn.Module türünde) ilk uygun GPU'ya yerleştirir
  • GPU yoksa varsayılan CPU'dur
from accelerate import Accelerator
accelerator = Accelerator()
model = accelerator.prepare(model)

print(accelerator.device)

cpu
PyTorch ile Verimli AI Model Eğitimi

Hadi pratik yapalım!

PyTorch ile Verimli AI Model Eğitimi

Preparing Video For Download...