फाइन-ट्यूनिंग

Large Language Models (LLMs) कॉन्सेप्ट्स

Vidhi Chugh

AI strategist and ethicist

हम कहाँ तक पहुँचे?

प्रोग्रेस चार्ट दिखा रहा है कि हम फाइन-ट्यूनिंग स्टेज पर पहुँच गए हैं

Large Language Models (LLMs) कॉन्सेप्ट्स

 

  • प्री-ट्रेनिंग

प्री-ट्रेनिंग की उपमा के रूप में स्कूल के बच्चों की छवि

          स्कूल शिक्षा

 

  • फाइन-ट्यूनिंग

फाइन-ट्यूनिंग की उपमा के रूप में विश्वविद्यालय के छात्रों की छवि

        विश्वविद्यालय में विशेषज्ञता
1 Freepik
Large Language Models (LLMs) कॉन्सेप्ट्स

"बड़प्पन" की चुनौतियाँ

  • फाइन-ट्यूनिंग मदद कर सकती है
  • पावरफुल कंप्यूटर
  • कुशल मॉडल ट्रेनिंग तरीके
  • बड़े पैमाने का ट्रेनिंग डेटा

डेटा, ट्रेनिंग समय, और कंप्यूट पावर को LLMs बनाने की चुनौतियों के रूप में दिखाती छवि

Large Language Models (LLMs) कॉन्सेप्ट्स

कंप्यूटिंग पावर

  • मेमोरी

  • प्रोसेसिंग पावर

  • इन्फ्रास्ट्रक्चर

  • महंगा

  • LLM:
    • 100,000's Central Processing Units (CPUs)
    • 10,000's Graphic Processing Units (GPUs)
  • एक पर्सनल कंप्यूटर: 4-8 CPU और 1-2 GPU

बड़े सर्वर से जुड़े कंप्यूटर पर काम करता व्यक्ति

1 Freepik
Large Language Models (LLMs) कॉन्सेप्ट्स

कुशल मॉडल ट्रेनिंग

डीप लर्निंग मॉडल का प्रतीकात्मक चित्रण

  • ट्रेनिंग समय बहुत बड़ा है

 

  • हफ्तों से महीनों तक लग सकते हैं

 

  • कुशल मॉडल ट्रेनिंग = तेज ट्रेनिंग समय

 

  • एक GPU पर 355 साल का प्रोसेसिंग समय
Large Language Models (LLMs) कॉन्सेप्ट्स

डेटा उपलब्धता

 

  • उच्च-गुणवत्ता वाले डेटा की जरूरत
  • भाषा की जटिलताओं और सूक्ष्मताओं को सीखने हेतु

  • कुछ सौ गीगाबाइट (GBs) टेक्स्ट डेटा

    • एक मिलियन से अधिक किताबें

  • डेटा की बहुत बड़ी मात्रा

  बहुत बड़े डेटा का प्रतीक, कागज़ों के उफनते ढेर

Large Language Models (LLMs) कॉन्सेप्ट्स

चुनौतियों पर काबू

  • फाइन-ट्यूनिंग
    • इन चुनौतियों में से कुछ को संबोधित करती है
    • एक प्री-ट्रेंड मॉडल को अनुकूलित करती है

 

  • प्री-ट्रेंड मॉडल
    • सामान्य-उद्देश्य डेटासेट्स से सीखा हुआ
    • विशेष कार्यों के लिए ऑप्टिमाइज़ नहीं
    • किसी खास समस्या के लिए फाइन-ट्यून किया जा सकता है

फाइन-ट्यूनिंग दर्शाने के लिए औज़ारों और गियर्स के साथ बड़े लैपटॉप पर काम करते लोग

Large Language Models (LLMs) कॉन्सेप्ट्स

फाइन-ट्यूनिंग बनाम प्री-ट्रेनिंग

  • फाइन-ट्यूनिंग

  • कंप्यूट

    • 1-2 CPU और GPU

 

  • ट्रेनिंग समय
    • कुछ घंटे से कुछ दिन

 

  • डेटा
    • ~1 गीगाबाइट

  • प्री-ट्रेनिंग

  • कंप्यूट

    • हज़ारों CPUs और GPUs

 

  • ट्रेनिंग समय
    • हफ्तों से महीनों तक

 

  • डेटा
    • सैकड़ों गीगाबाइट
Large Language Models (LLMs) कॉन्सेप्ट्स

अभ्यास करते हैं!

Large Language Models (LLMs) कॉन्सेप्ट्स

Preparing Video For Download...