今日は、本郷の東大中央図書館で AI とニューラルネットの本をいろいろと読んできました。
この図書館、最初に入ったときには、びっくりします。入口を入ったところに、石の手摺の赤い絨毯が敷かれた階段が、どどーんとあるんですね。理工学、社会学の専門書は 3 階なんですが、AI 関係は 4 階の、文学のフロアにあります。この階には、世界幻想文学大系や、シックな喫煙室があったりして、なかなか、良い雰囲気です。
今日の目的は、学習のアルゴリズムを探ること。有名なのは、バックプロパゲーションといって、最終結果の誤差を逆方向にフィードバックする方法ですが、これはちょっと使えない。
しかし、良いのがありました。ニューロンの興奮に寄与した接続を強化する、ヘッブ則ってのがあるんですね。コレならローカルにできます。
それから、「最大情報量保存」って原理も、既に知られていたんですね。
私は、大脳の本能は、蓄積する情報量を最大化することだと睨んでいたんですよ。これは、好奇心といった、新しい情報を求める本能（私は刺激欲と呼んでいました）と、様々な現象を簡単な原理で説明したいという本能（私は安定欲と呼んでいました）を統合すると、結局のところ、大脳という、人間特有の器官は、そこに納める情報量を最大化したがる本能がある、とすれば説明がつきます。胃袋が、食物を満たしたがるようにね。
多分、情報量の最大化と、ヘッブ則で、大規模ニューロネットワークの自動学習も可能でしょう。勿論、コレだけでは局所最適化に陥る危険が高いですから、ランダムな結合の追加（興奮したニューロンに対してのみが良さそう）と、いくつかのケースを走らせて最適化する、遺伝的アルゴリズムを組み合わせるのが良いのではないかと思います。