バックプロパゲーション

2.2.3 バックプロパゲーション～後向き演算１～

つぎに学習についてみていきましょう。結合荷重を修正していく過程、つまり学習の過程を後向き演算といいます。

出力層のｉ番目のニューロンの教師信号はｔ_iとします。バックプロパゲーションでは、誤差を小さくするように結合荷重を修正していきます。そこで、まず誤差というものを定義しておきましょう。

まず、出力層の結合荷重の更新についてみていきましょう。結合荷重Ｗ_kjに対する誤差Ｅの変化を見ればよいのですから、ＥをＷ_kjで偏微分すればよいことになりますね。したがってＷ_kjの修正量ΔW_kjはこのようにあらわすことができます。

ηは学習係数といって、１回あたりにどのくらい結合荷重を変化させるかをあらわしています。あまり小さくすると学習回数が膨大になってしまうので、決めかたが難しく、経験で決められている数です。
上の式をもう少し詳しく見てみましょう。 ηの前にマイナスがついています。これは、誤差Ｅのグラフ上のある点で傾きが正のときは修正量を負にし、傾きが負のときには修正量を正にするためです。こうすることで、誤差を小さくする方向に結合荷重を変化させているのです。

　
それぞれの偏微分の計算をしていきましょう。まず、誤差Ｅをｋ番目の出力Ｏ_kで偏微分します。

次に、出力Ｏ_kをネット値ｕ_kで偏微分します。ここで、出力関数を微分可能な関数にした意味が分かりますね。また、シグモイド関数は微分形がもとの関数の形でつかえることも特徴ですね。

最後に、ネット値ｕ_kを結合荷重Ｗ_kjで偏微分します。

よって、修正量ΔW_kjをあらわす式は以下のようになります。

このようにして、出力層の結合荷重の修正量ΔW_kjを求めることができます。