【AI論文解説】Agent-R：エージェントが自ら誤りを見つけて軌道修正し、学習を繰り返すことで自己訂正能力を獲得するフレームワーク

近年、さまざまな対話型エージェント環境において、LLM（大規模言語モデル）が複雑なタスクを遂行するために活用されるようになりました。

しかし、これらのモデルは一度間違った行動を取った際に、軌道修正をすることが難しく、途中で発生した誤りを放置すると後のステップで深刻な失敗につながるケースが少なくありません。

そこで本論文では、このような「途中段階の誤り訂正」を自動的かつ効率的に実装する新たな学習フレームワーク「Agent-R」を提案しています。提案手法では、エージェント自身が探索を通じて、誤った行動が生じた際に“どのタイミングで反省（Reflect）すべきか”を判断し、早期に正常なルートへ復帰できるように学習を行います。

Agent-Rを採用したモデルは、WebShop・ScienceWorld・TextCraftの3つの代表的なエージェント環境において、GPT-4やGPT-4oなどの強力な言語モデル、あるいは教師データの模倣学習手法などの既存手法を上回る成功率を示しました。

• 論文名：Agent-R: Training Language Model Agents to Reflect via Iterative Self-Training
• 論文著者：Siyu Yuan, Zehui Chen, Zhiheng Xi, Junjie Ye, Zhengyin Du, Jiecao Chen｜Fudan University, ByteDance Seed
• 論文提出日：2025年1月20日
• 論文URL：https://arxiv.org/abs/2501.11425

本論文の概要

本論文では、エージェントがタスクを開始してから終了（成功・失敗）するまでに辿る、一連の行動と観測の流れを「軌跡（Trajectory）」と定義し、これらを巧みに活用して誤り訂正を行うためのフレームワーク「Agent-R」を提案します。

本論文の中心的なアイデアは、エージェント自身が生み出した「間違いを含む軌跡（Bad Trajectory）」と「成功へ至る軌跡（Good Trajectory）」をうまく結合することで「Revision Trajectory」を作り出し、これにより「どこで誤りが発生していたか」を自動的に認識して修正するというものです。

従来のエージェント学習法では、すべて正解行動で構成された「教師データ（Expert Trajectory）」を模倣する方法が主流でしたが、この手法だとエージェントが誤りを自己訂正する能力はあまり鍛えられません。

Agent-Rは、自己生成した軌跡同士を組み合わせて「失敗を早期に見つけて修正する」ための学習サンプルを大量に生み出すことで、エージェントが反省と再計画を可能にします。

ポイント

• Agent-Rでは、自己生成した「失敗軌跡」と「成功軌跡」を組み合わせて、早期に誤りを発見・修正するための「Revision Trajectory」を構築し、エージェントに自己反省能力を付与
• 従来のデータ模倣学習よりも強力な誤り訂正性能を発揮し、長いタスクやループに陥りがちな環境でも高い成功率
• 反復的に学習を行うことで、エージェントは自らの誤り検出能力を徐々に洗練し、より早い段階で誤りを修正

Agent-R: モデルに基づく反省軌道の作成

モンテカルロ木探索（MCTS）を用いた軌跡収集

誤りを含む軌跡と成功の軌跡を多様に集めるため、本研究では行動探索アルゴリズムとしてMCTSを採用しています。深い探索により多くの候補行動を試行する際、「良い成果（高報酬）を得るパス」と「不十分な成果（低報酬）に至るパス」をともに収集し、これらを比較することで誤りの早期発見が促進されます。

具体的には、MCTSによって展開された木構造のなかで「成功」に近い子ノードと「失敗」気味の子ノードを可視化し、後者で見つけた誤りを前者の成功ルートで置き換えるようなデータが生成されます。

モデルに基づく反省

Agent-Rでは、軌跡を修正（Revision）する際、単に失敗軌跡の終盤に成功軌跡を継ぎ足すのではなく、エージェント自身が「どこで間違ったか」を行動ステップごとに点検します。

誤りがあったとエージェントが判断した時点（Transition Point）を境に、以降の行動を成功ルートに置き換えることで「Revision Trajectory」を構築します。このとき、エージェントの現在の行動方針（Actor Model）が「ここが誤りだ」と認定できる範囲で、誤った行動の発生ステップを早期に切り替えるという設計が重要です。

従来の「失敗軌跡の最後まで待って置き換える手法」と比較して、はるかに早期に誤りを検出できることが示されています。

Agent-R: 反復的な自己トレーニング

本研究では、Revision Trajectoryと一定以上の高い報酬を得たGood Trajectoryをエージェントに混ぜて学習させるだけでなく、このプロセスを何度も繰り返すことで、エージェントの自己訂正能力を段階的に洗練させます。

初期段階ではエージェントの能力が十分でなくとも、学習を繰り返すことで「より早い段階で誤りを発見できる」ようになり、再度MCTSで収集する軌跡の品質も高まります。

その結果、学習を繰り返すごとに「初回の誤り発見までのステップ数」が徐々に短縮され、誤り訂正の効率が向上していくことが確認されています。

実験結果

提案手法の効果検証として、本論文では以下の3つのエージェント環境において大規模な実験を行っています。

• WebShop: 大量の商品情報から検索・候補絞り込みなどを行うオンラインショッピング環境
• ScienceWorld: 小学校レベルの科学実験プロセスをテキストでエミュレートする環境
• TextCraft: Minecraftのようにクラフト素材を集めてアイテムを作成するテキスト環境

各タスクにおけるエージェントの最終成功率や報酬を比較すると、Agent-Rにより学習したモデルはGPT-4oなどの大規模モデルやオープンソースのモデルを教師データに模倣学習させた手法を上回るパフォーマンスを示し、平均して既存手法に対し+5.59%の向上が確認されました。

さらに、失敗を含む軌跡からの復旧が試される追加実験でも、Agent-Rで学習したモデルは誤りを早期に認識し、適切に修正できる能力が高まっていることが判明しました。特に「同じ行動を繰り返してタスクを失敗するループ」に陥る回数を大幅に減少していることも確認されています。

考察と今後の課題

Agent-Rが示すように、エージェントが自己生成した失敗軌跡をどの時点でどのように修正するかを学習できる仕組みは、複数ステップにわたる対話型タスクにおいて極めて有効であると考えられます。

今後は、より多様なタスクセットを扱うマルチタスク環境において、このフレームワークを反復的に適用することで、さらに汎用的な自己修正能力を培う可能性が期待されます。

一方、Revision Trajectoryそのものが常に最適である保証はなく、途中にノイズが混ざる場合もあります。しかし、そこに含まれる「誤りの分析過程」自体が学習に有益であることが本研究の実験から示唆されています。

将来的には、エージェントが自律的に学習データを選別・改善し続けることで、人手による軌跡の修正をほとんど必要としない、より高度な自己学習エージェントへと発展することが期待されます。

Agent-Rについてよくある質問まとめ

まとめ

本論文は、LLMエージェントが複雑な環境でタスクを遂行する上で欠かせない「誤りの早期発見と修正」を実現するフレームワーク、Agent-Rを提案しました。

MCTSを通じて多様な軌跡を得つつ、エージェント自身に「どこが誤りだったか」を判断させて修正を組み込むことで、自己反省能力を高めつつ高い成功率を達成できます。

WebShop、ScienceWorld、TextCraftという3つの異なる対話型環境での大規模実験を通じて、GPT-4oや従来の模倣学習手法を上回る成果が得られたことは、自己訂正型エージェントの将来性を示す重要な一歩といえます。

AI Marketでは、技術コンサルティングなども可能な、技術力の高いAI開発会社の無料選定・紹介を行っています。貴社に最適な会社に手間なく数日で出会えます。貴社の要望に応えることが可能な企業複数社の紹介が可能で、相見積もり・比較もすぐに実施可能。

プロのAIコンサルタントが貴社の代わりに数社選定しますので、AI開発会社の選定に迷ったり、相談方法がわからなかったら、累計1,000件以上の相談実績を持つAI Marketへ、いつでもお気軽にご相談ください。

【無料】AI開発会社の選定を依頼する