Propagacja wsteczna w praktyce

Wprowadzenie do uczenia głębokiego w Pythonie

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Propagacja wsteczna

ch2_4_v2.002.png

Propagacja wsteczna

ch2_4_v2.003.png

Propagacja wsteczna

ch2_4_v2.004.png

Propagacja wsteczna

ch2_4_v2.010.png

Obliczanie nachyleń dla dowolnej wagi

Gradient wagi jest iloczynem:
1. Wartości węzła wchodzącego do tej wagi
2. Nachylenia funkcji aktywacji węzła wyjściowego
3. Nachylenia funkcji straty względem węzła wyjściowego

Propagacja wsteczna

ch2_4_v2.016.png

Propagacja wsteczna

ch2_4_v2.017.png

Propagacja wsteczna

ch2_4_v2.018.png

Propagacja wsteczna

ch2_4_v2.019.png

Propagacja wsteczna

ch2_4_v2.020.png

Propagacja wsteczna

ch2_4_v2.021.png

Propagacja wsteczna: podsumowanie

Zacznij od losowego zestawu wag
Użyj propagacji w przód, aby uzyskać predykcję
Użyj propagacji wstecznej, aby obliczyć nachylenie funkcji straty względem każdej wagi
Pomnóż to nachylenie przez współczynnik uczenia i odejmij od bieżących wag
Kontynuuj ten cykl, aż osiągniesz płaski fragment

Stochastyczny spadek gradientu

Nachylenia oblicza się zwykle na podzbiorze danych (batch)
Do kolejnej aktualizacji używa się innego batchu danych
Po wykorzystaniu wszystkich danych zaczyna się od początku
Jedno przejście przez dane treningowe to epoka
Gdy nachylenia obliczane są na jednym batchu naraz: stochastyczny spadek gradientu

Czas na ćwiczenia!

Wprowadzenie do uczenia głębokiego w Pythonie

Preparing Video For Download...