Covariate shift nedir?

Machine Learning İzleme Kavramları

Hakim Elakhrass

Co-founder and CEO of NannyML

Tanımlar

covariate değişkenler $=$ girdi özellikleri
$P(X)$ değişir
koşullu olasılık $P(Y|X)$ aynı kalır
covariate'lerin ortak dağılımında değişimler

Neden ortak olasılık dağılımı?

Bir grafik, birinci ve ikinci özellik arasındaki hem pozitif hem negatif korelasyonu gösterir. Pozitif korelasyon hafta 10'da maviyle, negatif korelasyon ise hafta 16'da kırmızıyla gösterilir.

Covariate shift neden olur?

Covariate shift'in olası nedenleri:

Gerçek dünya durağan değil — kalıplar ve trendler evrilir
Veri kaynaklarındaki değişimler — test ve üretimde veri toplama biçimi farklılaşır
Sistem ve çevrenin evrimi

Covariate shift nasıl gerçekleşir?

Dağılımdaki değişim dinamikleri:

Kademeli

Mevsimsel

Görsel, veri dağılımında ani bir değişimi gösterir. Başta dağılım mavi noktalarla temsil edilirken belli bir süreden sonra aniden kırmızı noktalara geçer.

Görsel, veri dağılımında kademeli bir değişimi gösterir. Başta dağılım mavi noktalarla temsil edilir; zamanla yavaşça kırmızıya döner ve sonunda tekrar maviye döner. İlk başta tek bir nokta renk değiştirir, sonra zamanla tüm dağılım kırmızı olur.

Görsel, veri dağılımında mevsimsel bir değişimi gösterir. Başta dağılım mavi noktalarla temsil edilir; bir süre sonra aniden kırmızıya geçer ve sonunda tekrar maviye döner. Bu döngü, dağılımın periyodik doğasını sergileyerek tekrarlanır.

Covariate shift nasıl tespit edilir?

Tek değişkenli yöntem

Eylül'den Mart'a her ay için üretim değerlerinin dağılımı. Toplam yedi dağılım var. Eylül–Aralık arası dağılımlar benzer ve kabul edilebilir küçük değişimler içinde, bu yüzden mavi. Ocak–Mart arası dağılımlar daralıyor ve ortalama daha düşük değerlere kayıyor; değişimler daha belirgin olduğu için kırmızı.

Çok değişkenli yöntem

Çok değişkenli sürüklenme tespiti iş akışı: çok boyutlu veri önce gizil uzaya sıkıştırılır, sonra belirli bir hatayla ilk biçimine açılır.

¹ https://app.datacamp.com/learn/courses/dimensionality-reduction-in-python

Hadi pratik yapalım!

Machine Learning İzleme Kavramları