Concept drift ile nasıl başa çıkılır?

Machine Learning İzleme Kavramları

Hakim Elakhrass

Co-founder and CEO of NannyML

Concept drift tespiti

Hata tabanlı yöntemler
- zaman içinde hata değişimini izleme
- gerçek etiket gerektirir

Eğitim ve üretim verileriyle yeni model eğit
- tahminlerdeki değişim bir concept drift'tir
- ileri düzey senaryolarda maliyetli

Yeniden eğitim

Görsel iki grafiği gösteriyor. İlk grafikte zamanla model doğruluğunun kademeli azaldığı görülüyor. İkinci grafikte ise küçük bir düşüşün ardından yeniden eğitim yapılıyor ve doğruluk artıyor; bu süreç aralıklı olarak tekrarlanıyor.

Artıları:

modeli yeni kalıplarla güncel tutar

Eksileri:

maliyet ve başarısızlık riski artar
sorunun kök nedenini vermez

Online learning

Görsel, online learning döngüsünü gösteriyor: uygulamadan gelen veriler veritabanına gider ve anında modeli güncellemek için kullanılır. Güncellenen model tekrar yayına alınır.

Artıları:

değişen koşullara gerçek zamanlı uyum

Eksileri:

sürekli gerçek etiket erişimi gerekir
gürültüye duyarlıdır
dikkatli parametre ayarı ister

Diğer çözümler

Tekrarlayan olaylar için olaya özel model

Yeni verinin önemini ağırlıklandırma
- odak yenide olursa model daha kolay uyum sağlar

Görsel bir zaman çizelgesi gösteriyor: 23 Kasım'da normal model yayında, 24 Kasım'da Black Friday modeli yayına alınıyor. Sonrasında normal model yeniden devreye giriyor.

Hadi pratik yapalım!

Machine Learning İzleme Kavramları