松尾研の大規模言語講座を受講して

　この９月から東大松尾･岩澤研主催の大規模言語モデル（LLM）のサマースクールを受講することができた。参加枠は基本的には学生さんで、社会人はスタートアップなどに限定されている。が、よく拝見するYoutuberアイシアソリッド氏が強くお勧めされていたので、ダメモトで申し込みしたが幸運にも許可いただいた。それにしても昨年は二千名、今年は四千名以上の受講者というから相当な規模である。企業から一部支援もあるようだが、これを無料講座として開催されていることにまずは頭が下がる。
　深層学習がブームになりはじめたころは、民間の講座では100万円近くするものがざらにあった。近年では通産省のマナビDXプログラムなど、より学習しやすくなっているかもしれない。それでも最新のLLM技術について市場価格をつければそれなりの金額になってもおかしくない。その他種々の講座を並行して開催していることも含め、通常のアカデミアのレベルを大幅に超えもはや想像がつかない。
　講座は基本的に週一回、木曜日の夜に２時間ほどオンラインで行われたが、講師の方も熱がはいり、たいていは２，３０分ほど延長される。スライドの枚数もおそらく１００枚前後用意されている。昨年は７つの講義であったようだが、本年は理論にくわえ、安全性や個別分野への応用といったテーマも含まれ、１５回のボリュームであった。「先週のカンファレンスでは、」というような説明もあるほどのタイムリーさもある。講座動画のアーカイブも即座に提供されるが脱落しそうなのでリアルタイムで聴講するように努めた。
　講義が１時間３０分ほど行われたあと、GoogleColabの無料枠（T4)で動作可能なプログラム実装の演習がされる。実装はさらっとおわってしまうので、後日見返えさないと十分な理解までいかない。とはいHuggingfaceをはじめ種々のライブラリ関係の最新情報についても具体的に教示いただけるのは貴重である。
　毎回、講義の要約を含めたアンケートと５問ｘ４択の宿題が課されている。要約を書くというのは簡単そうで難しく、アーカイブの録画を見返す必要が、特に後半の講義では必要であった。
　出色であったのはソフトウェアや理論の講義に加え半導体技術の進化との関連性についての講義があったことだ。現在のNVIDIAや台湾企業の台頭やインテルの苦戦など、技術的側面からの解説は大変興味深かったが、ここには日本企業の姿はなかった。
　１５週の講義が終わると、課題を出されてコンペティションが最終課題となる。このプログラムではGPU（L4相当）を受講者に無償で提供するというサービスまであり、いたれりつくせりである。私はこの機会にと躊躇したローカルのGPUを導入したり、コミュニティで紹介のあった種々のクラウドも使用してみたが、結局課金してGoogle社のサービスに厄介になることになり、改めて課金GPUの性能差を実感した。
　松尾研には講座以外にも、Slack上にLLM関連のコミュニティを提供され、こちらにも多くの方が参加されており、国のプログラムによる独自ＬＬＭ開発の話や、注目する論文の紹介や初心者向けのオンライン講座など多岐にわたる情報が流通している。講座の課題に関するチャンネルでは、先達の皆さんがノウハウをNotionなどで共有をしてくれるところも大いに助けられた。また、コミュニティの勉強会では数年前にご指導いただいた異業種データサイエンス研究会主催の井伊さんが、ユニークなLLMのファインチューニング例（コンペで優勝！）をコード付で解説される回もあり、非常に実践的であった。ちなみに講義では「大喜利」ができるチューニングへの挑戦が語られたが、この分野に限ってはシンギュラリティはまだまだ先ではないかと思っている。
　自身の技術的限界もあり、ほどほどで最終課題を提出したのだが、課題や宿題の内容には自信がなく修了認定いただけるかは怪しい。しかしこうして数千人に対して一方通行でなく認定対応までするからこそ、参加者にも熱がはいる。終了如何にかかわらず得られたものは大きいと感じる。
　今年のNVIDIAのカンファレンスで、松尾先生の講演後、こうした講座を広く社会人にも開放してほしいという質問があった。が、過去、社会人参加者からのクレームが発生して運営が疲弊したというエピソードを知り、さもありなんとも思った。たしかに今回も運営の不完全さに対する指摘がありひやりとしたことがあった。がいろいろと仲介する方などがおられたうえに、最終的には担当の研究者の方が「頑張ります」となって大事にはいたらなかったようだ。同列には論じられないが、私も過去に引き受け手のいない経営者団体の運営を買って出たときに、必死に企画した企画内容にクレームをつけられ、やってられないという思いをしたことがある。いずれにせよ研究者の善意にささえられているこうした希有な場が、今後も安全に運営され、開かれたものになることを祈るばかりだ。
　松尾先生は海外や企業からのオファーを断り、国立大学の教員として踏ん張っているのは、この数十年でトップからがらがらと落ちていったかつての技術立国を経験したものの矜持であるというようなことをどこかで拝見したことがある。LLMの開発については、それでも政府の頑張りもあり、世界の流れになんとかついて行っているというのが現状らしい。
　それにしても、いままでは工学とは人間が理論でつくりあげていくものというイメージがあるが、ことＬＬＭについては、大量に学習させたらなぜかうまくいってしまった、その不思議な性質を探っていくという、ある種人工的につくりあげた自然（？）の神秘とでもいうような不思議さがある。
　国際紛争や政治をみても、ＡＩの有用性と危険性は紙一重であり、また政府のデジタル化についても賛否があるのは事実である。がいずれにしても、学びの方法はYoutubeの普及に加えて、LLMにより決定的に変わった。双方に情報の正確性の課題は残るが、それ以上に技術の加速度が人間の適応力を超えてきているようにも思える。いずれにせよ、こうした変化への啓発を信頼感のある環境の中で提供いただいたことには感謝しかない。この志をどうやって還元していくかが問われている。
　今週はLLMMATCHというコミュニティメンバーによる学習の支援活動が始まり、こちらにはオーディエンスとして参加登録した。また年明けにはビジネスにフォーカスした「ＡＩ経営」の講座も開かれるということで、こちらも愉しみである。