Yönetişim ve güvenlik

LLMOps Kavramları

Max Knobbout, PhD

Applied Scientist, Uber

LLM yaşam döngüsü: Yönetişim ve güvenlik

LLM uygulama yaşam döngüsü aşamalarına genel bakış

LLMOps Kavramları

Yönetişim ve güvenlik

 

Kırmızı ışığı işaret eden polis memurunun eğlenceli görseli

 

  • Yönetişim, politika, kılavuz ve çerçeveleri kapsar
  • Güvenlik, şunları önlemeye yönelik tedbirleri kapsar:
    • Yetkisiz erişim
    • Veri ihlalleri
    • Karşıt saldırılar
    • Modellerin çıktı ve yeteneklerinin kötüye kullanımı veya manipülasyonu
LLMOps Kavramları

Erişim denetimi

  • Rol Tabanlı Erişim Denetimi (RBAC) kullanın

  • Tüm API'ler güvenlik standartlarına uymalıdır

  • Sıfır güven güvenlik modeli kullanın

  • Uygulamanın dış bilgileri erişirken doğru rolü üstlendiğini doğrulayın

 

LLM uygulamasının kullanıcının rolünü üstlendiği bir API akışı

LLMOps Kavramları

Tehdit: İstem enjeksiyonu

  • İstem enjeksiyonu: Saldırganlar uygulamadaki giriş alanlarını veya istemleri manipüle ederek yetkisiz komut/eylem çalıştırır.
  • Önlemler:
    • İstem talimatlarının geçersiz kılınabileceğini ve içeriklerin açığa çıkarılabileceğini varsayın
    • LLM'yi güvenilmeyen bir kullanıcı gibi ele alın
    • Bilinen karşıt istemleri belirleyin (ve engelleyin)

Bir istem enjeksiyonu gösterimi

LLMOps Kavramları

Tehdit: Çıktı manipülasyonu

  • LLM çıktısı aşağı akış saldırılarında kullanılabilir.
  • Kullanıcı adına kötü amaçlı işlemler yürütülebilir
  • Önlemler:
    • Uygulamaya gereksiz yetki/izin vermeyin
    • İstenmeyen belirli çıktıları sansürleyin ve engelleyin

Çıktı manipülasyonu gösterimi

LLMOps Kavramları

Tehdit: Hizmet engelleme (DoS)

  • Kullanıcılar LLM uygulamamızı isteklerle doldurur; maliyet, erişilebilirlik ve performans sorunları oluşur

  • Önlemler:

    • İstek hızlarını sınırlayın
    • İstek başına kaynak kullanımını üst sınırlandırın

 

Hizmet engelleme saldırısını gösteren görsel

LLMOps Kavramları

Tehdit: Veri bütünlüğü ve zehirleme

  • Veri zehirleme, eğitim setine sahte, yanıltıcı veya kötü amaçlı veri enjekte eder

    • Veriler telifli ve/veya kişisel bilgi içerebilir
    • İçerik zararlı olabilir

  • Önlemler:

    • Güvenilir kaynaklar kullanın ve meşruiyeti doğrulayın
    • Filtreler kullanın
    • Çıktı sansürleme

Metin belgeleri görseli; belgelerden biri zehirlenmiş

LLMOps Kavramları

Kendimizi korumak

Üzerine nesne düşen çizgi film karakterinin eğlenceli görseli

 

  • En güncel güvenlik standartlarını kullanın ve önlemleri uygulayın
  • Sistemimizi hedefleyen kötü niyetli bir kullanıcının bakış açısını varsayın
  • Güncel kalın; Open Web Application Security Project (OWASP)'a bakın
1 LLM'ler için OWASP: https://llmtop10.com/
LLMOps Kavramları

Hadi pratik yapalım!

LLMOps Kavramları

Preparing Video For Download...