先日、かねてから論文は拝読していたのだけれど、とある先生にお初にお目にかかる機会があった。数理面で非常にソリッドな結果を残されてきた先生なので、僕が読んできた論文を通して、無口だがストイック、自分の興味と好奇心に対してブレることなく着実に進んでいる、といった先生像を勝手に自分の中で作り上げていたのだが（そしてそのイメージはそれほど予測と大きく異なることはなかったものの）、話していると唐突にこういうことを吐露された。
「GPT-5 の登場で世界がエライことになってきました」
バイアスとして、純粋数理のコミュニティに近づけば近づくほどLLMの流行りに流されることなく従来の研究に邁進している（それは良い意味でも悪い意味でも）と思っていて、先生もそういう気質なのではないかと勝手に思っていたため、少々意表を突かれた。「今まで世界中で僕だけしか知らないと思っていたことを、GPT-5 が議論の過程で次々に披瀝してくるようになった」とのことだった。その懸念自体は決して新しいわけではないものの、純粋数学者コミュニティだと LLM の技術革新を頑なに受け付けようとしない人がいなくはないわけで、そう考えると憧れの先生がシニアになっても自らの専門性の価値が侵されているかもしれないことに臆することなく最先端の技術にキャッチアップし続けていることが嬉しかった。
先生のこの感覚は、僕も共有できるところだ。僕自身は最近は専ら Claude を使っていることが多い（一応 Anthropic の理念に最も共感できるからであるが、強いこだわりがあるわけでもない）が、3ヶ月くらい前に知り合いと研究の議論をしていたときに、試しに議論している問題を全部 Claude に考えさせてみたところ、完璧な回答を与えるわけではなかったものの、新しいインスピレーションを与えてくれた。この議論の結果は今現在新しい研究に発展しているし、論文執筆の過程でもアルゴリズムの構成から数値実験まで、幅広い範囲で研究活動をサポートしてくれている。Claude がなくても同じ研究結果が得られなかったわけではないと思うが、おそらく3倍の時間はかかったと思う。研究をしている過程で解けない問題をとりあえず補助ツールに聞いてみることは（少なくとも僕の場合は）よくあって、LLM の登場前でもまずは検索してみるし、勿論 MathOverflow には大変お世話になってきたし、解けない数式は藁にも縋る思いで Mathematica に聞くのは日常茶飯事だ。だから ChatGPT に解けない微分方程式の解き方を聞いてみる、なんてことは去年の段階でもまあまああったのだけれど、明らかに初等的な式変形のミスを犯すのであまり役に立った記憶はなく、そのため2025年に入ってからの技術水準の向上は体感上も著しい。一昔前に「LLM は精々検索エンジンに毛が生えた程度だから」なんてぼやいていたのは我が身の恥である。
そう、だから僕自身、ここ数ヶ月の研究活動が非常に効率化、加速されている実感がある。思いつけない式変形も、ちょっと書くのが面倒な数値実験のコードも、ひとまず LLM にお願いしてみるのである。そうすると、やはり「研究者はこの先必要ではなくなってしまうのではないか」という懸念が僕たちの頭をよぎるのである。ただ、僕自身はこの「人間代替論」に対しては現時点では楽観的である。その大きな理由は、一言で言うなら LLM に何を考えさせるかは使い手のセンス次第である、という点に尽きる。そう言い切ってしまうと傲慢にも聞こえるが、話は単純で、LLM は僕たちの疑問や課題を華麗に解決してくれるかもしれないが、その大元の疑問や課題は LLM からは生じることは（まあおそらく）ないからだ。昨年末にバークレーで学会に参加したときに雑談で「生成モデルは人間を真に唸らせる芸術を生み出すことができるか」という話で盛り上がったことがあった。「真に唸らせる」の定義次第ではあるのだが、例えば作曲であれば市場のフィードバックを元にすれば原理的には強化学習できるから、「売れる曲」は作れるんじゃないかと思う。しかし一方で、それは学習したその時点における市場評価に基づく生成であり、言いかえれば内挿的生成であって、本質的に外挿的生成は難しいのではないか。この点に関してはエージェントの探索方策だとか「好奇心」の実装に長いこと関心が持たれ続けてきたが、僕の認識では ε-貪欲法（つまり、基本的には最も価値が高くなる選択肢を選びつつ、多少のノイズを入れることで探索を行う方策）以上のものは未だ思いつかれていないと思う（むしろそれ以上のものがあるなら是非教えてほしい）。この限りにおいては、やはり本質的に外挿的生成ではない。分布外汎化であったり、適応的方策であったり、機械学習コミュニティでもこういう話は常に研究されているが、テスト時にフィードバックを受けることができるのであれば、やはりそれも真の意味で外挿なのではなく、僕たち人間のフィードバックに適応的に内挿していると解釈するべきのように思う。いずれにせよ、好奇心は生成モデルから生まれることはなく、その点が僕たち人間の強みだと考えている。
（「本質的な好奇心」とは一体全体なんなのか、これだから本質主義者は、という批判が聞こえてくる気もするが、それはまた今度考えたいと思う）
だとすれば、やはり科学者という職業は LLM の登場によってその内実を変化させることはあるものの、最終的にリプレースされることはないのだろうと思う。しかし、であるからこそ、科学者の内実がいかに変容するかを考えてみたくなったのである。計算機の登場以前・以降を比べるのがイメージしやすいだろう。計算機が登場したのは概ね1950年頃だが、それ以前は不可能だった科学が、想像もし得なかった科学が生まれたのである。一つ例を挙げよ、と言われたら、複雑系を挙げてみる。高速に高精度に計算できるコンピュータがなければ、ストレンジアトラクターの存在を誰が知り得ただろうか。それはまさに計算機が存在したから初めて生を受けた科学なのである。というかそもそも機械学習、人工知能、生成モデル自体がそうである。
つまり問いはこうだ。「LLM が登場したことで生まれる新たな科学の分野はどのようなものなのだろうか？」
改めて注意するまでもないと思われるが、念のため一言付しておく。この問いは LLM の内部機序を理解するような「physics of language modeling」とは一線を画しているし、AI for science であったり、科学の自動化といったパラダイムとも質的に異なっている。特に AI for science はあくまで科学の効率化、例えばピペッターを機械でリプレースすることで実験効率と精度を高め、科学者のリソースをより頭脳労働が必要なドメインにつぎ込むためのものだと捉えている。これはこれで当然価値を生む領域ではあるのだが、僕が見たいのはそういうパラダイムではなくて、LLM がなければそもそも遂行不能な科学で、LLM が存在してはじめて可能になる科学である。計算機がなければ複雑系の世界を見る日が訪れることはなく、計算機が存在してはじめて複雑系の現象を目の当たりにすることができるのと同じように。
しかし、LLM でそんな新しい科学が果たして切り開かれるのだろうか。確かに LLM の推論の精度と厳密さは日進月歩だが、少なくとも現状の next token prediction に基づいた機構である限り、原理的にハルシネーションを防ぐことは不可能である。そんな機械が思考の厳密さを（そして数理に近づけば近づくほど思考の厳密さのみが唯一の価値ですらある）要求する科学に転用可能なのであろうか。
この問いは至極真っ当なのだが、それに答えるためには再び計算機の与えたパラダイムシフトを振り返る必要があるように思う。当然ながら別に計算機が与える計算結果が絶対的真理というわけでも決してないのである。複雑系はまさにそうであるが、計算結果は常に数値誤差を伴うし、そうした数値誤差が破滅的な推論の過誤につながることは珍しいことではない。それでも計算機が科学の役に立っているのは、現実的に多くのドメインでは数値誤差がさして気にならない解像度での推論を行っていたりとか、あるいは数値誤差に対する理解が進んでいるから必要に応じて精度を上げたり精度保証計算を行うなどの代替手段もあるからだろう。僕たちが興味を持っている自然現象のスケールと数値誤差のスケールが干渉していないからと言える。これは顕微鏡だってそうである。電子顕微鏡のスケールで捉えられないスケールの現象には、当然のことながら電子顕微鏡は梨の礫である。もう一つ例を挙げておく：僕たちはなぜコンパイラの出力結果を疑ってバイナリを逐一確認することなく、プログラムの実行結果を信用しているのだろうか？
そう考えると、LLM もハルシネーションを原理的に避けることはできないのだが、ハルシネーションが与える推論の過誤の「スコープ」を見積もることはやってもよいのだろうと思う。この辺の研究は、無闇矢鱈に mechanistic interpretability とか physics of language modeling とかスローガンを叫ぶのに比べると、幾分かプラグマティックな恩恵があるように思われる。そして仮に過誤の「スコープ」を見積もれたとき、LLM はどのような科学を生み出し得るのか、この問いに対して僕の想像力はまだ十分でない。