OpenAI、新モデル「o3」を発表！安全性重視の「Deliberative Alignment」手法で従来の安全性とオーバー拒否のジレンマを解消

OpenAIは2024年12月21日、新たな大規模言語モデル「o3シリーズ」を発表した。

このシリーズは、従来のo1モデルを大幅に上回る推論能力を備えているとしている。特に、o3 miniは低コストながら高いパフォーマンスを実現しており、API利用者に柔軟な推論時間調整機能を提供することで、用途に応じた最適なモデル利用が可能となる。

また、同社が公開した論文では、AIモデルに安全性の仕様を直接学習させ、回答前に仕様について推論させる新しい「Deliberative Alignment（熟考的整合）」手法を導入したことを明らかにした。

この手法により、有害な要求を拒否する能力を高めながら、正当な要求まで過剰に拒否してしまう「オーバー拒否」の問題も同時に改善することに成功したとしている。

＜本ニュースの10秒要約＞

• モデルに安全性の仕様を直接学習させ、回答前に推論させる「Deliberative Alignment」手法の開発による安全性の向上
• 有害な要求への拒否能力向上と正当な要求への過剰拒否の同時改善によるAIの実用性向上を実現
• 英語以外の言語や暗号化された入力など、学習データにない状況下でも高い安全性を維持する汎化性能を確認

o3モデルの性能と応用範囲

o3シリーズは、以下のような技術的指標で大幅な進歩を示している。

・プログラミング能力: コーディング競技サイト「Codeforces」でo3は最大ELOスコア2727を達成した。

・数学的能力: USA数学オリンピアドの試験（AMC）の精度で96.7%を記録した。PhDレベルの科学問題に対する正確度では87.7%という最先端の結果を達成している。

・新たなベンチマークの突破: ARC AGIベンチマークで、低計算リソース設定において75.7%、高計算リソース設定では87.5%という人間に匹敵する精度を記録。

o3 miniの特徴と実用性

o3 miniは、コスト効率性と柔軟性を兼ね備えたモデルとして設計されている。

推論時間を柔軟に調整できる機能を備えており、簡単なタスクでは短時間で、複雑なタスクではより長い推論時間を利用することが可能である。

また、コーディング能力においても顕著な進歩を遂げており、o1 miniと比較して10分の1のコストで同等以上の性能を発揮している。

さらに、APIの機能も大幅に拡張されており、構造化出力や関数呼び出しといった開発者のニーズに対応できるよう設計されている。

Deliberative Alignment（熟考的整合）手法の特徴と従来手法との違い

従来の安全性訓練では、人間からのフィードバックを基にAIモデルに間接的に安全性を学習させていた。

一方、Deliberative Alignment手法では、安全性の仕様をモデルに直接教え、回答前にその仕様について推論させる。

この手法は2段階で実施され、第1段階では教師あり学習により安全性仕様についての推論を学習し、第2段階では強化学習により推論能力を向上させる。

人間による教師データの作成を必要としない点も特徴だ。

安全性とオーバー拒否の改善効果

実験結果では、o3シリーズは従来のGPT-4oと比較して、有害な要求を拒否する能力が大幅に向上した。

特にジェイルブレイク（安全性機能を回避しようとする攻撃）への耐性が向上し、同時に正当な要求に対する過剰な拒否も減少した。

さらに、自殺防止や規制された助言など、慎重な対応が必要な要求に対しても適切な応答ができるようになっている。

汎化性能と計算リソースの影響

英語以外の言語や暗号化された入力など、学習データに含まれていない状況下でも高い安全性を維持できることが確認された。

また、推論に使用する計算リソースを増やすことで、特に複雑な要求に対する安全性がさらに向上することも判明した。

この結果は、Deliberative Alignment手法が実用的な環境下でも効果的に機能することを示している。

AI Market の見解

Deliberative Alignment手法は、AIの安全性向上における重要な技術的進展だと評価できる。

特に、人間による教師データ作成を必要としない点は、AIの大規模化が進む中で重要な利点となる。また、安全性と使いやすさのトレードオフを改善した点は、AIの実用化を加速させる可能性がある。

ただし、より高度な知能を持つAIが開発された際の安全性確保については、引き続き研究が必要だろう。

OpenAIは今後もこの手法を発展させ、より安全で信頼できるAIの開発を進めていくと予想される。

参照元：OpenAI