RAG बनाम fine-tuning

LLMOps Concepts

Max Knobbout, PhD

Applied Scientist, Uber

LLM लाइफसाइकल: RAG बनाम fine-tuning

LLM एप्लिकेशन लाइफसाइकल चरणों का अवलोकन

टैबलेट को केले से चलाता हुआ मज़ेदार कार्टून

LLM की reasoning क्षमता को बाहरी knowledge से जोड़ें।
तीन स्टेप की चेन:
1. Retrieve संबंधित डॉक्यूमेंट्स
2. Augment प्रॉम्प्ट में examples जोड़ें
3. Generate आउटपुट बनाएं
अक्सर vector databases से implement किया जाता है।

Retrieve:
- इनपुट को embedding में बदलें
- vector database में सर्च करें
- सबसे मिलते-जुलते डॉक्यूमेंट्स निकालें

Retrieve chain

Retrieve:
- इनपुट से embedding बनाएँ
- vector database में सर्च करें
- सबसे मिलते-जुलते डॉक्यूमेंट्स निकालें
Augment:
- इनपुट को डॉक्यूमेंट्स संग मिलाकर final प्रॉम्प्ट बनता है

Augment chain

Retrieve:
- इनपुट से embedding बनाएँ
- vector database में सर्च करें
- सबसे मिलते-जुलते डॉक्यूमेंट्स निकालें
Augment:
- इनपुट को top-k डॉक्यूमेंट्स से जोड़कर augmented प्रॉम्प्ट बनाएँ
Generate:
- प्रॉम्प्ट से आउटपुट बनता है

कई implementation चॉइसेज़ और embedding मॉडल्स हैं। Experiment और test करें!

Generate chain

Supervised fine-tuning (transfer learning)

ज़रूरी डेटा का प्रकार 📂:

Reinforcement Learning from Human Feedback (RLHF)

ज़रूरी डेटा का प्रकार 📂:

एप्रोच 🔍:

एप्रोच 🔍:

टैबलेट को केले से चलाता हुआ मज़ेदार कार्टून

नए डोमेन में specialization चाहिए तो उपयोग करें
✅ पूरा नियंत्रण और कोई अतिरिक्त कॉम्पोनेन्ट नहीं
❌ labeled डेटा व विशेषज्ञ ज्ञान चाहिए, bias बढ़ सकता है, catastrophic forgetting का जोखिम

डेवलपमेंट साइकिल जहाँ हमने chain और agent डेवलपमेंट की activity जोड़ी

डेवलपमेंट साइकिल जहाँ हमने RAG की activity जोड़ी

डेवलपमेंट साइकिल जहाँ हमने fine-tuning की activity जोड़ी

LLMOps Concepts