バックプロパゲーション

Pythonで学ぶDeep Learning入門

Dan Becker

Data Scientist and contributor to Keras and TensorFlow libraries

バックプロパゲーション

バックプロパゲーション

バックプロパゲーション

バックプロパゲーション

• 勾配降下法がネットワーク内の全重みを更新できる（全重みの勾配を得る）
• 連鎖律に基づく
• 流れの理解は重要だが、通常はライブラリを用いる

バックプロパゲーションの流れ

• 各重みに関する損失関数の傾きを推定する
• 予測と誤差を得るために順伝播を行う

バックプロパゲーションの流れ

バックプロパゲーションの流れ

バックプロパゲーションの流れ

• 層を1つずつ遡る
• 重みの勾配は次の積
  1. その重みに入るノード値
  2. その先のノードに対する損失関数の傾き
  3. そのノードでの活性化関数の傾き

ReLU 活性化関数

バックプロパゲーションの流れ

• ノード値に対する損失関数の傾きも追跡する
• ノード値の傾きは、そのノードから出る全重みの傾きの合計

Let's practice!

Pythonで学ぶDeep Learning入門