過学習と人生の正則化項
ノーベル物理学賞、化学賞に人工知能の研究者の方が授賞となった。これは物理学なのかという議論もある
ようだが、昨今の応用を考えるとノーベル賞としても無視はできなかったのだろう。日本の研究者の授賞が徐々に減っていくという昨今の傾向もあるが、甘利先生をはじめ日本の研究者の貢献も改めて知られることになったことは、ある意味では喜ばしい。
先月から東大の松尾研の大規模言語（LLM）の講座を受講する機会を得た。こちらは専門性が高く大変難しい。学んだこととして印象的
なのが、LLMが学習パラメータを与えるほど賢くなるといういわゆるスケール則の存在である。というのも一般の深層学習では、まず既存のデータをもとにしてネットワークに学習をさせる。この学習が進むほどネットワークは賢くなる。一方あるデータのまとまりを学習するほど逆に新しいデータに対する回答性能が落ちるという事実がある。これを「過学習」というがＬＬＭではこの今まで一般的だった法則があてはまらない。かくして、各社各国がリソースをつぎ込んで開発競争を繰り広げるということになっている。
人間の脳という見方からは、学習すればするほど賢くなるのが普通であろう。例えば英語なども繰り返せば繰り返すほど脳の性能は上がる気がする。しかし例えば資格試験などにとりくんでいるときに実感するのだが、問題をすっかり覚えてしまって、応用問題がとけなくなってしまうということも体験する。それでもこの表面的な理解を超えて学習していけばやがて山を越えらえるという感覚はある。
人とどう接すれば良いか、組織をどうまとめるか、ということにはずっと悩み続けている。特に若いときはある種の法則があるのではないか、と思い組織論や心理学のセオリーなどをいろいろ学んだ。そしてそうしたセオリーやソーシャルスキルには、確実に一定の効果をもたらすものも存在することも体感した。しかし、人生を経てくるとそうしたセオリーに当てはまらない予期しえない状況に幾度となくぶつかった。あるときは失敗し、あるときはうまくいったりする。しかし、そうした経験の中で「こうすればうまくいった」という過去のパターンを誰しもいくつか持ち合わせるようになる。私自身もそうした勝ちパターンというものを過去の変遷の中からセオリー化しているのも事実だ。
ただし、ここで考え無くてはいけないのが、この「過学習」の問題である。すなわち過去にうまくいったという体験を積み重ねるほど、その方法論への執着がおき、深層学習における「汎化性能」、つまり新しい自体には適応しないということが起きる。コンピュータではあえて学習を忘却させるといった操作を行うことで、結果として新しいサンプルへの適合を向上させる。しかし人間の場合「あのときうまくいった」という過去の成功への執着が過学習をうながす。私自身も「過去にうまくいったパターン」にひきづられ、別のアプローチをとりずらいことをしばしば自覚する。この成功した時の、あのときの心地よい感情が強固な重みとしてのってくるところがややこしい。
「アンラーニング」という考え方も一時ポピュラーになったが、ポイントはどこまでうまくいった学習体験をいかしつつ、どこを捨て去っていくか、という調整をできるかということになるが、ここには自分自身のアイデンティティも絡んでくるので容易ではない。もっというと、現在のアイデンティティを作りあげるために、自ら捨て去ってきた部分をも過学習を防ぐための要素としてとりこまなくてはならないという難題もある。昨今マスコミでもとりあげられることの増えた「ミッドライフクライシス」はまさにこの過学習問題といえるのではないだろうか。
この過学習をおさえるために、あえて制限を加えることを機械学習では「正則化」項を加えることで実現する。そうした制限が結果として特定のパターンに過剰適合しない適度な学習性能をもたらすことをモデル化では目指す。人の場合、年齢を経るにつれ増えていくこうした非可逆な制約、それは人との別れの痛みだったり、病に代表される身体的な制約であったり、そうした傷はいわば人生における正則化項ともいえるもの
なのかもしれない。そう思うと、こうした痛みも少しは和らぐ気にもなるというものだ。
現代は人口減少や高齢化、温暖化や紛争の激化といった、従来の学習モデルの適応を許さないという自体が頻発する時代になっている。論語では「４０にして惑わず」として信念を、また「５０にして命を知る」というアイデンティティ確立をといている。が、６０歳では「耳順」として、周りの意見にしたがえる、というある種の柔軟性、執着の放棄をといていることに論語の奥深さを感じる。
人工知能が進んだことで、人間の脳の限界も逆にあきらかになった。池谷先生の著作によると、例えば囲碁
の盤面は複雑すぎてコンピュータがはじき出す手も人間にとっては悪手にみえることもあるし、いわゆる「定石」というものは人間の過去の成功体験による学習固定化の一種とも解釈できるようだ。しかし、一方で人間は、人工知能に比べて大幅に計算が少ない条件下でも、ある種の推論を働かせた一手を打つこともできる。論語は７０歳では「心の欲するところに従えども矩
をこえず」という。これはＬＬＭのようにパラメータを増やしていかなくても、直感的に最適解を導出できる境地をいうのだろうか。いやそこにはそもそも最適解ということで定義を超えた、ある種の無我性というものも感じられる。
とはいいつつ、この年になってもまだまだわからないことばかり。「従心」の境地ははてしなく、パラメータチューニングの日々はつづく。
