Backpropagation v praxi

Úvod do deep learningu v Pythonu

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Backpropagation

ch2_4_v2.002.png

Úvod do deep learningu v Pythonu

Backpropagation

ch2_4_v2.003.png

Úvod do deep learningu v Pythonu

Backpropagation

ch2_4_v2.004.png

Úvod do deep learningu v Pythonu

Backpropagation

ch2_4_v2.010.png

Úvod do deep learningu v Pythonu

Výpočet sklonů pro libovolnou váhu

  • Gradient váhy je součinem:
    1. Hodnoty uzlu vstupujícího do dané váhy
    2. Sklonu aktivační funkce napájeného uzlu
    3. Sklonu ztrátové funkce vůči výstupnímu uzlu
Úvod do deep learningu v Pythonu

Backpropagation

ch2_4_v2.016.png

Úvod do deep learningu v Pythonu

Backpropagation

ch2_4_v2.017.png

Úvod do deep learningu v Pythonu

Backpropagation

ch2_4_v2.018.png

Úvod do deep learningu v Pythonu

Backpropagation

ch2_4_v2.019.png

Úvod do deep learningu v Pythonu

Backpropagation

ch2_4_v2.020.png

Úvod do deep learningu v Pythonu

Backpropagation

ch2_4_v2.021.png

Úvod do deep learningu v Pythonu

Backpropagation: rekapitulace

  • Začněte s náhodnou sadou vah
  • Pomocí dopředného šíření vytvořte predikci
  • Pomocí zpětného šíření vypočítejte sklon ztrátové funkce vůči každé váze
  • Vynásobte sklon mírou učení a odečtěte od aktuálních vah
  • Opakujte cyklus, dokud nedosáhnete plochého místa
Úvod do deep learningu v Pythonu

Stochastický gradientní sestup

  • Sklony se obvykle počítají jen na části dat (dávce)
  • Pro další aktualizaci se použije jiná dávka dat
  • Po použití všech dat se začíná znovu od začátku
  • Jedno průchozí trénovacími daty se nazývá epocha
  • Výpočet sklonů po jedné dávce: stochastický gradientní sestup
Úvod do deep learningu v Pythonu

Pojďme si procvičit!

Úvod do deep learningu v Pythonu

Preparing Video For Download...