Gradientní sestup

Úvod do deep learningu v Pythonu

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Gradientní sestup

Gradientní sestup

Gradientní sestup

Gradientní sestup

Gradientní sestup

Gradientní sestup

Gradientní sestup

Gradientní sestup

Gradientní sestup

Gradientní sestup

Gradientní sestup

Gradientní sestup

• Je-li sklon kladný:
  • Jít proti sklonu znamená pohyb k nižším hodnotám
  • Odečíst sklon od aktuální hodnoty
  • Příliš velký krok může vést ke špatnému výsledku
• Řešení: rychlost učení
  • Každou váhu aktualizujeme odečtením rychlost učení * sklon

Příklad výpočtu sklonu

• Výpočet sklonu pro váhu vyžaduje součin:
  • Sklon ztrátové funkce vzhledem k hodnotě ve výstupním uzlu
  • Hodnota uzlu, který vstupuje do dané váhy
  • Sklon aktivační funkce vzhledem k hodnotě na vstupu

Příklad výpočtu sklonu

• Výpočet sklonu pro váhu vyžaduje součin:
  • Sklon ztrátové funkce vzhledem k hodnotě ve výstupním uzlu
  • Hodnota uzlu, který vstupuje do dané váhy
  • Sklon aktivační funkce vzhledem k hodnotě na vstupu

Příklad výpočtu sklonu

• Sklon ztrátové funkce (MSE) vzhledem k predikci:
  • 2 (Predikovaná hodnota - Skutečná hodnota) = 2 Chyba
  • 2 * -4

Příklad výpočtu sklonu

• Výpočet sklonu pro váhu vyžaduje součin:
  • Sklon ztrátové funkce vzhledem k hodnotě ve výstupním uzlu
  • Hodnota uzlu, který vstupuje do dané váhy
  • Sklon aktivační funkce vzhledem k hodnotě na vstupu

Příklad výpočtu sklonu

• Výpočet sklonu pro váhu vyžaduje součin:
  • Sklon ztrátové funkce vzhledem k hodnotě ve výstupním uzlu
  • Hodnota uzlu, který vstupuje do dané váhy
  • Sklon aktivační funkce vzhledem k hodnotě na vstupu

Příklad výpočtu sklonu

• Výpočet sklonu pro váhu vyžaduje součin:
  • Sklon ztrátové funkce vzhledem k hodnotě ve výstupním uzlu
  • Hodnota uzlu, který vstupuje do dané váhy
  • Sklon aktivační funkce vzhledem k hodnotě na vstupu

Příklad výpočtu sklonu

• Výpočet sklonu pro váhu vyžaduje součin:
  • Sklon ztrátové funkce vzhledem k hodnotě ve výstupním uzlu
  • Hodnota uzlu, který vstupuje do dané váhy
  • Sklon aktivační funkce vzhledem k hodnotě na vstupu

Příklad výpočtu sklonu

• 2 * -4 * 3
• -24
• Je-li rychlost učení 0.01, nová váha bude
• 2 - 0.01(-24) = 2.24

Síť se dvěma vstupy ovlivňujícími predikci

Kód pro výpočet sklonů a aktualizaci vah

import numpy as np
weights = np.array([1, 2])
input_data = np.array([3, 4])
target = 6
learning_rate = 0.01
preds = (weights * input_data).sum()
error = preds - target

print(error)

5

Kód pro výpočet sklonů a aktualizaci vah

gradient = 2 * input_data * error

gradient

array([30, 40])

weights_updated = weights - learning_rate * gradient
preds_updated = (weights_updated * input_data).sum()
error_updated = preds_updated - target

print(error_updated)

2.5

Pojďme si procvičit!

Úvod do deep learningu v Pythonu