バックプロパゲーション

2.2.4 バックプロパゲーション～後向き演算２～

つぎに中間層の結合荷重の更新についてみていきましょう。

中間層の結合荷重の修正量ΔW_jiも、誤差ＥをW_jiで偏微分することで求められます。

出力層の結合荷重を更新するときは、ｋ番目の出力Ｏ_kだけに注目すればよかったのですが、中間層の結合荷重を更新するときはｎ個の出力すべてが関係します。
つまり、出力Ｏ₁からＯ_nまでのｎ個を引数とする合成関数Ｅを偏微分することになります。
この偏微分をおこなうには連鎖律というものを使います。連鎖律をもちいると、中間層の結合荷重の修正量ΔW_jiを求める式は次のようになります。

これなら、すべての出力の変化が考慮されている正しい式になります。ではこの式を計算していくことにしましょう。はじめの２つの偏微分は、前のページにでてきたので省略します。
ネット値Ｕ_iを中間層の出力Ｈ_jで偏微分します。

中間層の出力Ｈ_jをネット値Ｔ_jで偏微分します。

ネット値Ｔ_jを結合荷重Ｗ_jiで偏微分します。

よって、修正量ΔW_jiをあらわす式は以下のようになります。

このようにして出力層の結合荷重の修正量ΔW_jiを求めることができます。
ここで１つ気をつけておかなければならないことがあります。それはＢＰはローカルミニマムに陥りやすいということです。最急降下法のところで見たように、ＢＰでは初期設定によってはローカルミニマムに陥り、うまく答がでないこともあります。
それでは、バックプロパゲーション学習で、先ほどのＸＯＲ問題をもう1度解いてみましょう。

自分で学習データを設定して試したい場合はこちらのシミュレーションをしてみましょう。