Wsteczna propagacja błędu

Wprowadzenie do uczenia głębokiego w Pythonie

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

Wsteczna propagacja błędu

Wsteczna propagacja błędu

Wsteczna propagacja błędu

Wsteczna propagacja błędu

• Umożliwia gradient descent aktualizację wszystkich wag sieci neuronowej (obliczając gradienty dla każdej wagi)
• Wywodzi się z reguły łańcuchowej rachunku różniczkowego
• Ważne jest zrozumienie procesu, jednak w praktyce korzysta się z bibliotek, które go implementują

Proces wstecznej propagacji

• Celem jest wyznaczenie nachylenia funkcji straty względem każdej wagi
• Propagacja w przód służy do obliczenia prognoz i błędów

Proces wstecznej propagacji

Proces wstecznej propagacji

Proces wstecznej propagacji

• Cofanie się warstwa po warstwie
• Gradient wagi jest iloczynem:
  1. Wartości węzła zasilającego tę wagę
  2. Nachylenia funkcji straty względem węzła wyjściowego
  3. Nachylenia funkcji aktywacji w tym węźle

Funkcja aktywacji ReLU

Proces wstecznej propagacji

• Należy śledzić nachylenia funkcji straty względem wartości węzłów
• Nachylenie wartości węzła to suma nachyleń wszystkich wychodzących z niego wag

Czas na ćwiczenia!

Wprowadzenie do uczenia głębokiego w Pythonie