LLMで研究を自動化
杉山先生がこれを言うくらいなので、時代を感じる。
https://pbs.twimg.com/media/HLOokFObIAAd7UW.jpg
@tmcosmos_org: 衝撃が少し落ち着いてきたので昨日の研究会で聞いたことを書くと、元同僚研究者が理論物理学の研究の自動化に取り組んでいて、Claudeをメインにしたシステムをひと月ほどで構築、それを一昨日から1日自律的に動かし（おそらくFable 5か）、昨日出力されたのは、開発者自身（超優秀な世界的理論物理学者です）では思いつかない非自明な結果を含む高度な研究論文だったという。アイデア出しから文献検索、解析計算と数値検証、さらに全ての式変形が数学的に間違いないことの検証、出た結果の他のAIによる検証、原稿作成、査読、リバイズ、などを完全自動化。もはや人間がAIの出力を理解したりチェックする作業が律速段階であるといい、さらには最初に研究したら面白そうだと与えている発想の部分もAIが自律的に行えるようにできるだろうとのこと。夢でも見ていたのかと思ったが、出席していた他の理論物理学者や数学者も自分と同じ衝撃を受けていたので、現実だったようだ 「人間がAIの出力を理解したりチェックする作業が律速」はAIコーディングの初期から見えていて、「だからダメだ」という人も当時は多かった。私は「チェックもAIがやるようになる」と考えたが、今明らかにその通りになってきている。これは魔術ではない。律速の要素が何かを考えた時、AIの進化の期待値の差が出ただけだろう。
ボトルネックはなんだろうか？人間がチェックする場合でも人間にミスは起こり得る。では、人間と同程度のミスになるようなAIがチェックするのであれば、AIにとって変わるのが合理的だ。そしてそれは見えていた。
LLMで研究を自動化
実際やられている。自分が大学生ならこれをやる。
思い出すのは、自分が学生の頃に読んだ進化的アルゴリズムの本で、プログラムに数学の証明をさせることについての著者の感想がコラムになっていた。詳細を覚えていないが「自分は解けない問題をコンピューターが解くことができるようにするプログラムを自分が生み出せたときの喜び」が綴られていたのが印象に残っている
いば先生の本だった気がする
LLMを使ったリサーチもこのようなことになるだろう。そしてはるかに強力な結果をもたらしそうだ。自分が扱えない領域の様々な知識を組み合わせて、学際的なアプローチを取ることができるようになる。
ここで残る問題は、それが正しいのかどうか、理論的な証明を自分がもはやすることができないと言うことだ。
事例が少し前にあった。東大の学生が経済学か、何かの研究を独自にしたが、内容がよくわからないから、それを聞きに専門家に聞きに来たみたいな話があったはずだ。まあ、こんな例を集めなくても、こうなる事はすぐにわかるだろう。
工学なら、境界値を入れてうまく動くなら正しいとする大雑把さで使ってしまう。多くのことはこう言うふうになるのだろう。
数学の証明ならば、定理証明系を使うことによって、厳密さを担保することができるかもしれない
自分に扱えない結果をどのような枠組みにすれば扱うようにできるのかを考えていく必要がある。これは人類が必要とする問題。