2.1.4 パーセプトロンの限界

パーセプトロンの動作については理解できましたか? XORを学習させても、正しい答えが出ませんでしたね。

ここが、パーセプトロンの弱点なのです。 パーセプトロンの特徴として、「中間層の結合荷重は変わらない」 ということがあったのを覚えていますか?

XORが学習できなかった原因はここにあります。 中間層の結合荷重が変更できないということは 中間層は入力値を定数倍するだけになりますから、 見た目は3層のネットワーク構造をしていても 実際は2層のネットワーク構造になってしまうということになります。

先ほどのAND、XORの問題を平面上にあらわしてみましょう。 入力が0、0のときを原点とすると、入力の4つのパターンは下の図のように あらわすことができます。

2層のネットワークでは、 入力が2つのときは、パターンを図のANDのように直線の両側に分けるような 問題しかとけないのです。XORは1つの直線では分けることができませんね。 このようなパターンを1つの直線で分けることができないものを 非線形分離問題といいます。

しかし、1986年に非線形問題も解けるようにした新しい学習法が発表されました。 それがバックプロパゲーションとよばれるものです。 日本語では誤差逆伝播学習則といいます。

バックプロパゲーションでは、いままでのパーセプトロンを改良して、 中間層の結合荷重も学習によって変えられるようにしました。 この学習法を使うことで、パーセプトロンが本当に3層構造をもって働くようになったわけです。



Copyright(c) Iwata-Lab. N.I.T. All rights reserved.