Governance और सुरक्षा

LLMOps Concepts

Max Knobbout, PhD

Applied Scientist, Uber

LLM लाइफसाइकल: Governance और सुरक्षा

LLM एप्लिकेशन लाइफसाइकल के चरणों का अवलोकन

LLMOps Concepts

Governance और सुरक्षा

 

लाल बत्ती की ओर इशारा करता एक पुलिसकर्मी (मज़ेदार चित्र)

 

  • Governance में नीतियाँ, दिशानिर्देश, और फ्रेमवर्क शामिल हैं
  • Security का लक्ष्य इनसे बचाव है:
    • Unauthorized access
    • Data breaches
    • Adversarial attacks
    • मॉडलों के आउटपुट/क्षमताओं के दुरुपयोग या हेरफेर की संभावना
LLMOps Concepts

Access control

  • Role Based Access Control (RBAC) अपनाएँ

  • सभी APIs को सुरक्षा मानकों का पालन करना चाहिए

  • zero trust security model उपयोग करें

  • बाहरी जानकारी एक्सेस करते समय ऐप सही role अस्यूम करे, यह सुनिश्चित करें

 

एक API फ्लो, जहाँ LLM एप्लिकेशन यूज़र का role अस्यूम कर रहा है

LLMOps Concepts

Threat: Prompt injection

  • Prompt injection: अटैकर्स ऐप के इनपुट/प्रॉम्प्ट में छेड़छाड़ कर अनधिकृत कमांड या एक्शन चलाते हैं।
  • Mitigations:
    • मानें कि प्रॉम्प्ट निर्देश override हो सकते हैं और कंटेंट उजागर हो सकता है
    • LLM को untrusted user मानें
    • ज्ञात adversarial प्रॉम्प्ट पहचानें और ब्लॉक करें

प्रॉम्प्ट इंजेक्शन का डेमो

LLMOps Concepts

Threat: Output manipulation

  • LLM का आउटपुट डाउनस्ट्रीम हमलों में उपयोग हो सकता है।
  • यूज़र की ओर से खतरनाक एक्शन चल सकते हैं
  • Mitigations:
    • ऐप को गैर-ज़रूरी authority/permissions न दें
    • विशिष्ट अवांछित आउटपुट को सेंसर व ब्लॉक करें

आउटपुट मैनिपुलेशन का डेमो

LLMOps Concepts

Threat: Denial-of-service

  • यूज़र हमारी LLM ऐप को अनुरोधों से भर देते हैं, जिससे लागत, उपलब्धता, और परफॉर्मेंस पर असर पड़ता है

  • Mitigations:

    • रिक्वेस्ट रेट सीमित करें
    • प्रति रिक्वेस्ट संसाधन उपयोग पर कैप लगाएँ

 

डिनायल-ऑफ- सर्विस हमले का चित्र

LLMOps Concepts

Threat: Data integrity और poisoning

  • Data poisoning हमारे training set में झूठा, भ्रामक, या malicious डेटा डालता है

    • डेटा में copyrighted और/या personal जानकारी हो सकती है
    • कंटेंट हानिकारक हो सकता है

  • Mitigations:

    • विश्वसनीय स्रोत लें और वैधता जाँचें
    • फ़िल्टर्स उपयोग करें
    • आउटपुट सेंसरिंग

टेक्स्ट डॉक्युमेंट्स की छवि, जिनमें से एक poisoned है

LLMOps Concepts

खुद की सुरक्षा

कार्टून पर गिरती वस्तु का लक्ष्य बनता एक मज़ेदार चित्र

 

  • नवीनतम सुरक्षा मानक अपनाएँ और mitigation रणनीतियाँ लागू करें
  • हमेशा यह मानें कि कोई malicious यूज़र हमारे सिस्टम को टार्गेट कर रहा है
  • अपडेटेड रहें, Open Web Application Security Project (OWASP) देखें
1 OWASP for LLMs: https://llmtop10.com/
LLMOps Concepts

अभ्यास करते हैं!

LLMOps Concepts

Preparing Video For Download...