The AI Scientist が世界初の完全AI生成・ピアレビュー通過の科学論文を発表

Sakana AI社は2025年3月12日、同社が開発した「The AI Scientist-v2」が生成した科学論文が、トップレベルの国際AI会議であるICLRのワークショップでピアレビュープロセスを通過したと発表した。

これは完全にAIが生成した論文としては世界初のピアレビュー通過事例であり、同社はブリティッシュコロンビア大学とオックスフォード大学との共同研究としてこのプロジェクトを行った。

この実験はICLR会議の運営陣とワークショップ主催者の完全な協力のもとで実施された。The AI Scientist-v2が生成した3つの論文をワークショップに提出し、レビュアーにはそれがAI生成であることを明示せずにブラインドレビューを行った。
特筆すべきは、提出された論文が完全にAIによる端から端までの生成であることだ。

The AI Scientist-v2は科学的仮説の設定、その検証実験の提案、実験コードの作成と洗練、実験の実行、データ分析、データの視覚化、そして論文全体の執筆までをすべて自律的に行った。人間の研究チームは広範なテーマを与え、生成された複数の論文から提出する3つを選んだだけだった。

3つの提出論文のうち、2つは採択基準に達しなかったが、1つの論文「Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization」は平均スコア6.25を獲得し、ワークショップに提出された全論文の上位45%に位置づけられた。

この論文はニューラルネットワークの合成的一般化を改善するための新しい正則化手法に関する研究中に遭遇した否定的結果を報告したものだった。

ただし、研究チームは透明性と倫理的行動規範の重要性を強調している。実験プロトコルの一部として、AIが生成した論文がピアレビューを通過しても、実際に出版される前に取り下げることが事前に決定されていた。これはAI生成の論文を同じ会場で発表するかどうかについて、AI研究コミュニティがまだ合意に達していないためだ。

研究チームはこの実験を通じて、AI生成研究の品質を調査する最良の方法の1つは、少数のサンプルを人間が生成した科学を評価するのと同じ厳格なピアレビュープロセスに提出することだと主張している。ブリティッシュコロンビア大学からは研究倫理審査（IRB）の承認も得ている。

また、AI生成論文がOpenReviewの公開フォーラムで閲覧できないようにし、ピアレビュープロセス完了後に自動的に却下されるよう取り決めている。研究チームは科学コミュニティが、いつどのようにしてAI生成の論文を宣言するか、そしてどの時点でそれを行うかについて規範を発展させる必要があると述べている。

研究チームは、この成果が将来的なAI科学の可能性を示す重要な一歩であるとしながらも、現在の限界も率直に認めている。採択された論文はメインカンファレンスではなくワークショップトラックであり、提出した3つの論文のうち採択されたのは1つだけだった。

通常、ワークショップ論文はメインカンファレンス提出物と比較してより洗練されていない予備的な発見を提示するもので、ICLRのようなトップ機械学習会議のメインカンファレンスの採択率は20〜30%、ワークショップの採択率は60〜70%となっている。

研究チームは各論文を詳細に分析し、現時点ではICLRメインカンファレンスの採択基準を満たす論文はないとしつつも、提出した論文には興味深い独創的なアイデアが含まれていると評価している。The AI Scientistは主に最先端の大規模言語モデルに基づいたシステムであり、基盤モデルが改善されるにつれて、このシステムの性能も向上すると考えられている。

研究チームは最終的にはAIが病気の治療や宇宙を支配する法則の理解拡大など、人類の繁栄に貢献する発見を生み出すことが重要だと述べている。

AI Market の見解

The AI Scientistによる世界初のピアレビュー通過論文は、科学研究の自動化における重要な転換点を示している。現時点でワークショップレベルの採択とはいえ、AI単独で科学的仮説から実験実行、論文執筆までを一貫して行える技術的成熟度に達したことは注目に値する。

特に、従来のソフトウェア工学やデータ分析タスクを超えて、創造的な仮説設定と実験デザインという科学の本質的プロセスをAIが担えることを実証した点が重要と考えられる。

この技術の発展により、科学者の研究効率化や新たな研究方向性の探索支援といった応用が期待されるが、同時に研究コミュニティにおけるAI生成コンテンツの扱いに関する倫理的・制度的枠組みの整備が急務となっている。

参照元：Sakana AI 株式会社

The AI Scientistに関するよくある質問まとめ