ホップフィールドネットワークはなぜ学習をしないのに、
パターンを記憶することができるのでしょう。
その理由を考えていくことにしましょう。
まず準備として、エネルギー関数というものを説明します。 これは今までの誤差関数と同じようなもので、 最終的に安定する状態において、代表パターンとの大きな誤差に対しては大きく、 小さな誤差に対しては小さな値をとります。 エネルギー関数は以下のように表されます。 θはしきい値です。
|
ホップフィールドネットはエネルギー関数が最小になるようなパターンに収束していくので、 各項がマイナスの値になればよいのです。 つまり上の式の第２項目がマイナスの値になればよいということになります。
しかし、しきい値θの値によって、あるパターンではＥの値が大きくなり、 また違うパターンではＥの値が小さくなったりというように、 Ｅの変化が定まらなくなってしまいます。 そこで、しきい値をゼロにすることでこのようなしきい値による影響をなくします。
|
この式の値を小さくするには、和の部分が大きくなれば良いことはすぐにわかりますね。 いま、Ｘiは＋１か−１のどちらかですから、 （Ｘi）2は常に１になります。 和の部分を（Ｘi）2（Ｘj）2 に依存するようにすれば、和は常にプラスの値になり、可能な限り大きくなります。 これを最も簡単に式で表せば
|
となるので
|
Ｗij ＝ ＸiＸj
|
これが、エネルギー関数を最小にする結合荷重になりますね。
