Zpětné šíření

Úvod do deep learningu v Pythonu

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Zpětné šíření

ch2_3_v2.003.png

Úvod do deep learningu v Pythonu

Zpětné šíření

ch2_3_v2.004.png

Úvod do deep learningu v Pythonu

Zpětné šíření

ch2_3_v2.005.png

Úvod do deep learningu v Pythonu

Zpětné šíření

ch2_3_v2.006.png

  • Umožňuje gradientnímu sestupu aktualizovat všechny váhy v neuronové síti (výpočtem gradientů pro všechny váhy)
  • Vychází z pravidla řetězení v diferenciálním počtu
  • Důležité pochopit princip, ale v praxi se používá knihovna, která to implementuje
Úvod do deep learningu v Pythonu

Proces zpětného šíření

  • Cílem je odhadnout sklon ztrátové funkce vzhledem ke každé váze
  • Dopředným šířením se vypočítají předpovědi a chyby
Úvod do deep learningu v Pythonu

Proces zpětného šíření

ch2_3_v2.013.png

Úvod do deep learningu v Pythonu

Proces zpětného šíření

ch2_3_v2.014.png

Úvod do deep learningu v Pythonu

Proces zpětného šíření

  • Postup po vrstvách zpět
  • Gradient váhy je součinem:
    1. Hodnoty uzlu vstupujícího do dané váhy
    2. Sklonu ztrátové funkce vzhledem k uzlu, do nějž váha vstupuje
    3. Sklonu aktivační funkce v tomto uzlu
Úvod do deep learningu v Pythonu

Aktivační funkce ReLU

ch2_3_v2.022.png

Úvod do deep learningu v Pythonu

Proces zpětného šíření

  • Je nutné sledovat i sklony ztrátové funkce vzhledem k hodnotám uzlů
  • Sklon hodnoty uzlu je součtem sklonů všech vah, které z něj vycházejí
Úvod do deep learningu v Pythonu

Pojďme si procvičit!

Úvod do deep learningu v Pythonu

Preparing Video For Download...