MLOps dağıtım stratejilerinde otomasyon

Tam Otomatik MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Model dağıtımı - prediction service

Vurgulanmış bir öğeyle MLOps referans mimarisi görseli: prediction service.

Tam Otomatik MLOps

Prediction services - kip özetleri

Tahminler şu şekillerde sunulabilir:

  • Batch
  • Streams
  • Real-time
  • On-the-edge
Tam Otomatik MLOps

Prediction service - batch sunum

$$

  • Çok sayıda tahmin

$$

  • Periyodik zamanlamalar

$$

  • Olay tetiklemeli

$$

$$

$$

Batch işlemeyi gösteren çizim. Tüm girdiler batch işleme motoruna gönderilir. Çıkışların tümü, tüm girdi işlendiğinde aynı anda teslim edilir.

Tam Otomatik MLOps

Prediction service - akış sunumu

$$

  • Sürekli gelen veri

$$

  • Sürekli teslim edilen tahminler

$$

$$

Akış işlemeyi gösteren çizim. Öğeler sürekli olarak bir stream işleme motoruna iletilir. İşlendikten sonra çıktılar kesintisiz bir çıktı akışına teslim edilir.

Tam Otomatik MLOps

Prediction service - gerçek zamanlı

$$

  • Tek kayıt

$$

  • Anlık tahminler

$$

$$

realtime_interaction.png

Tam Otomatik MLOps

Prediction service - uçta (on the edge)

$$

  • Mobil cihazlar

$$

  • IoT cihazları

$$

  • Azaltılmış gecikme

$$

Bir mobil tablet cihazında çalışan bir IoT uygulaması görseli.

Tam Otomatik MLOps

Dağıtım stratejileri

$$

ML sunum türleri, prediction service'leri nasıl dağıtıp güncelleyeceğimizi belirler

Model dağıtım stratejileri şunları içerir:

  • Shadow deployment
  • Canary deployment
  • A/B testing
  • Blue/Green
Tam Otomatik MLOps

A/B testing

Dağıtılmış bir prediction service'te A/B testini gösteren çizim. Tahmin istekleri bir yük dengeleyiciye gider. Yük dengeleyici istekleri A ve B modellere dağıtır. Modellerin performansı sürekli izlenir.

Tam Otomatik MLOps

A/B testing

Bir A/B test dağıtımı görseli. Model performansı yeterince izlendikten sonra, B modelinin daha iyi olduğu görülür. Sistem tüm istekleri en iyi performanslı bu modele kaydırır.

Tam Otomatik MLOps

Shadow deployment

Shadow deployment görseli. Tahmin istekleri bir yük dengeleyiciye gider. Yük dengeleyici istekleri hem canlı hem shadow modellere iletir. Yalnızca canlı model tahmin döndürür. Her iki modelin performansı da sürekli izlenir.

Tam Otomatik MLOps

Blue/Green dağıtım

Blue/green dağıtım görseli. Bir model, mavi ortamda üretimde canlıdır.

Tam Otomatik MLOps

Blue/Green dağıtım

Güncellenmiş bir model, mavi ortamın bir kopyası olan yeşil ortama dağıtılır. Trafik anahtarı modülü istekleri maviden yeşile otomatik yönlendirmeye başlar.

Tam Otomatik MLOps

Blue/Green dağıtım

Blue/green dağıtım görseli. Tüm trafik kademeli ve otomatik olarak maviden yeşil ortama geçirilir.

Tam Otomatik MLOps

Blue/Green dağıtım

Tüm trafik taşındıktan sonra mavi ortam silinebilir. Güncel modelin olduğu yeşil ortam yeni üretim ortamı olur.

Tam Otomatik MLOps

Tahmin servislerini dağıtma ve güncelleme

$$

Model türü, dağıtım stratejisini belirler

Dört boyutta dağıtım stratejileri ve özellikleri: Kesinti yok, Koşula bağlı, Geri alma süresi, ek maliyetler.

Tam Otomatik MLOps

Hadi pratik yapalım!

Tam Otomatik MLOps

Preparing Video For Download...