Gradyan inişi

Python ile Deep Learning'e Giriş

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Gradyan inişi

Gradyan inişi

Gradyan inişi

Gradyan inişi

Gradyan inişi

Gradyan inişi

Gradyan inişi

Gradyan inişi

Gradyan inişi

Gradyan inişi

Gradyan inişi

Gradyan inişi

• Eğim pozitifse:
  • Eğimin tersine gitmek, daha küçük sayılara inmektir
  • Geçerli değerden eğimi çıkarın
  • Adım çok büyükse sapabiliriz
• Çözüm: öğrenme oranı
  • Her ağırlığı öğrenme oranı * eğim kadar çıkararak güncelleyin

Eğim hesaplama örneği

• Bir ağırlık için eğimi hesaplamak için çarparız:
  • Kayıp fonksiyonunun, beslediğimiz düğüm değerine göre eğimi
  • Ağırlığımıza giren düğümün değeri
  • Aktivasyon fonksiyonunun, beslediğimiz değere göre eğimi

Eğim hesaplama örneği

• Bir ağırlık için eğimi hesaplamak için çarparız:
  • Kayıp fonksiyonunun, beslediğimiz düğüm değerine göre eğimi
  • Ağırlığımıza giren düğümün değeri
  • Aktivasyon fonksiyonunun, beslediğimiz değere göre eğimi

Eğim hesaplama örneği

• Ortalama kare kaybının tahmine göre eğimi:
  • 2 (Tahmin - Gerçek Değer) = 2 Hata
  • 2 * -4

Eğim hesaplama örneği

• Bir ağırlık için eğimi hesaplamak için çarparız:
  • Kayıp fonksiyonunun, beslediğimiz düğüm değerine göre eğimi
  • Ağırlığımıza giren düğümün değeri
  • Aktivasyon fonksiyonunun, beslediğimiz değere göre eğimi

Eğim hesaplama örneği

• Bir ağırlık için eğimi hesaplamak için çarparız:
  • Kayıp fonksiyonunun, beslediğimiz düğüm değerine göre eğimi
  • Ağırlığımıza giren düğümün değeri
  • Aktivasyon fonksiyonunun, beslediğimiz değere göre eğimi

Eğim hesaplama örneği

• Bir ağırlık için eğimi hesaplamak için çarparız:
  • Kayıp fonksiyonunun, beslediğimiz düğüm değerine göre eğimi
  • Ağırlığımıza giren düğümün değeri
  • Aktivasyon fonksiyonunun, beslediğimiz değere göre eğimi

Eğim hesaplama örneği

• Bir ağırlık için eğimi hesaplamak için çarparız:
  • Kayıp fonksiyonunun, beslediğimiz düğüm değerine göre eğimi
  • Ağırlığımıza giren düğümün değeri
  • Aktivasyon fonksiyonunun, beslediğimiz değere göre eğimi

Eğim hesaplama örneği

• 2 * -4 * 3
• -24
• Öğrenme oranı 0.01 ise, yeni ağırlık
• 2 - 0.01(-24) = 2.24

İki girdili ağ: tahmini etkiler

Eğimleri hesaplayıp ağırlıkları güncelleyen kod

import numpy as np
weights = np.array([1, 2])
input_data = np.array([3, 4])
target = 6
learning_rate = 0.01
preds = (weights * input_data).sum()
error = preds - target

print(error)

5

Eğimleri hesaplayıp ağırlıkları güncelleyen kod

gradient = 2 * input_data * error

gradient

array([30, 40])

weights_updated = weights - learning_rate * gradient
preds_updated = (weights_updated * input_data).sum()
error_updated = preds_updated - target

print(error_updated)

2.5

Hadi pratik yapalım!

Python ile Deep Learning'e Giriş