AutoModel और Accelerator के साथ मॉडल तैयार करें

PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

Dennis Lee

Data Engineer, Amazon

अपने प्रशिक्षक से मिलें!

$$

  • डेटा इंजीनियर

प्रशिक्षक का फोटो

सर्वर का आइकन

PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

अपने प्रशिक्षक से मिलें!

$$

  • डेटा इंजीनियर
  • डेटा साइंटिस्ट

प्रशिक्षक का फोटो

सर्वर और बल्ब के आइकन

PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

अपने प्रशिक्षक से मिलें!

$$

  • डेटा इंजीनियर
  • डेटा साइंटिस्ट
  • इलेक्ट्रिकल इंजीनियरिंग में Ph.D.

प्रशिक्षक का फोटो

सर्वर, बल्ब, और ग्रेजुएशन टोपी के आइकन

PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

अपने प्रशिक्षक से मिलें!

$$

  • डेटा इंजीनियर
  • डेटा साइंटिस्ट
  • इलेक्ट्रिकल इंजीनियरिंग में Ph.D.

प्रशिक्षक का फोटो

सर्वर, बल्ब, और ग्रेजुएशन टोपी के आइकन

$$

$$

$$

सर्वोत्तम प्रक्रियाएँ साझा करने को उत्साहित!

PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

कुशल AI प्रशिक्षण का रोडमैप

  • वितरित AI मॉडल प्रशिक्षण

लैपटॉप

PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

कुशल AI प्रशिक्षण का रोडमैप

  • वितरित AI मॉडल प्रशिक्षण

एक लैपटॉप और प्रतीक्षा करता व्यक्ति

PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

कुशल AI प्रशिक्षण का रोडमैप

  • वितरित AI मॉडल प्रशिक्षण

लैपटॉप, प्रतीक्षा करता व्यक्ति, और मेमोरी चिप

  • ↓ ↓ बड़े भाषा मॉडलों के प्रशिक्षण समय

कैलेंडर

PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

कुशल AI प्रशिक्षण का रोडमैप

कोर्स विषयों का फ्लोचार्ट: डेटा तैयारी, वितरित प्रशिक्षण, कुशल प्रशिक्षण, और ऑप्टिमाइज़र।

$$

  • डेटा तैयारी: डेटा को कई डिवाइस पर रखना
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

कुशल AI प्रशिक्षण का रोडमैप

कोर्स विषयों का फ्लोचार्ट: डेटा तैयारी, वितरित प्रशिक्षण, कुशल प्रशिक्षण, और ऑप्टिमाइज़र।

$$

  • डेटा तैयारी: डेटा को कई डिवाइस पर रखना
  • वितरित प्रशिक्षण: प्रशिक्षण को कई डिवाइस तक स्केल करना
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

कुशल AI प्रशिक्षण का रोडमैप

कोर्स विषयों का फ्लोचार्ट: डेटा तैयारी, वितरित प्रशिक्षण, कुशल प्रशिक्षण, और ऑप्टिमाइज़र।

$$

  • डेटा तैयारी: डेटा को कई डिवाइस पर रखना
  • वितरित प्रशिक्षण: प्रशिक्षण को कई डिवाइस तक स्केल करना
  • कुशल प्रशिक्षण: उपलब्ध डिवाइस का सर्वोत्तम उपयोग
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

कुशल AI प्रशिक्षण का रोडमैप

कोर्स विषयों का फ्लोचार्ट: डेटा तैयारी, वितरित प्रशिक्षण, कुशल प्रशिक्षण, और ऑप्टिमाइज़र।

$$

  • डेटा तैयारी: डेटा को कई डिवाइस पर रखना
  • वितरित प्रशिक्षण: प्रशिक्षण को कई डिवाइस तक स्केल करना
  • कुशल प्रशिक्षण: उपलब्ध डिवाइस का सर्वोत्तम उपयोग
  • ऑप्टिमाइज़र: प्रशिक्षण तेज करना
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

CPU

  • अधिकतर लैपटॉप में CPU होते हैं

         

CPU वाला लैपटॉप

GPU

  • GPU बड़े मॉडल प्रशिक्षित कर सकते हैं

         

GPU वाला लैपटॉप

PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

CPU बनाम GPU

CPU

  • अधिकतर लैपटॉप में CPU होते हैं
  • सामान्य प्रयोजन कंप्यूटिंग के लिए डिज़ाइन
  • बेहतर नियंत्रण प्रवाह

         

दैनिक कार्यों के लिए लैपटॉप

GPU

  • GPU बड़े मॉडल प्रशिक्षित कर सकते हैं
  • अत्यधिक समानांतर कंप्यूटिंग में विशेषज्ञ
  • मैट्रिक्स ऑपरेशंस में श्रेष्ठ

         

समानांतर कंप्यूटिंग हेतु लैपटॉप

PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

वितरित प्रशिक्षण

वितरित प्रशिक्षण का आरेख: मॉडल प्रतिकृति और डेटा शार्डिंग।

  • डेटा शार्डिंग: हर डिवाइस समानांतर में डेटा का एक उपसमुच्चय प्रोसेस करता है
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

वितरित प्रशिक्षण

वितरित प्रशिक्षण का आरेख: मॉडल प्रतिकृति और डेटा शार्डिंग।

  • डेटा शार्डिंग: हर डिवाइस समानांतर में डेटा का एक उपसमुच्चय प्रोसेस करता है
  • मॉडल प्रतिकृति: हर डिवाइस फॉरवर्ड/बैकवर्ड पास करता है
  • ग्रेडिएंट एकत्रीकरण: निर्दिष्ट डिवाइस ग्रेडिएंट्स एकत्र करता है
  • पैरामीटर सिंक्रोनाइज़ेशन: निर्दिष्ट डिवाइस अद्यतन पैरामीटर साझा करता है
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

कम प्रयास, अधिक दक्षता: प्री-ट्रेन्ड मॉडल अपनाएँ

  • प्री-ट्रेन्ड Transformer मॉडलों का लाभ लें
  • AutoModelForSequenceClassification कॉल करके पैरामीटर इनिशियलाइज़ करें
  • कॉन्फ़िगरेशन दिखाएँ
from transformers import AutoModelForSequenceClassification
model = AutoModelForSequenceClassification.from_pretrained(model_name)

print(model.config)

DistilBertConfig {
  "architectures": ["DistilBertForMaskedLM"],
  "dim": 768,
  "dropout": 0.1,
  "hidden_dim": 3072,
  ...
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

Accelerator से डिवाइस प्लेसमेंट

  • एक Hugging Face क्लास 🤗
  • Accelerator हमारे कंप्यूटर पर उपलब्ध डिवाइस पहचानता है
  • डिवाइस प्लेसमेंट और डेटा पैरेललिज़्म स्वतः: accelerator.prepare()
  • मॉडल (torch.nn.Module टाइप) पहले उपलब्ध GPU पर रखें
  • GPU न मिलने पर डिफ़ॉल्ट CPU
from accelerate import Accelerator
accelerator = Accelerator()
model = accelerator.prepare(model)

print(accelerator.device)

cpu
PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

Ayo berlatih!

PyTorch के साथ कुशल AI मॉडल प्रशिक्षण

Preparing Video For Download...