OpenAI、APIに構造化出力機能の搭載を発表

OpenAIは2024年8月6日、APIに構造化出力機能を導入したと発表した。この新機能により、開発者が提供するJSONスキーマに完全に準拠したモデル出力が可能となる。

昨年のDevDayで導入されたJSONモードを拡張し、より信頼性の高いアプリケーション開発を実現する。新機能は、非構造化入力から構造化データを生成するという、現代のAIアプリケーションにおける中心的なユースケースに対応するものだ。

＜本ニュースの10秒要約＞

• 開発者提供のJSONスキーマに完全準拠したモデル出力を実現する構造化出力機能の導入
• 制約付きデコードにより、モデル出力の信頼性を100%に向上させる技術的アプローチの採用
• 最新モデルgpt-4o-2024-08-06での使用で、入力コスト50%、出力コスト33%の削減を実現

構造化出力機能の概要と利点

構造化出力機能は、開発者が提供するJSONスキーマに完全に一致するモデル出力を生成するためのものだ。この機能により、非構造化入力から構造化データを生成するという、現代のAIアプリケーションにおける重要なユースケースに対応する。

開発者は、関数呼び出しを介してデータを取得し、質問に答える機能を備えた強力なアシスタントの構築や、データ入力用の構造化データの抽出、LLM（大規模言語モデル）がアクションを実行できるマルチステップのエージェントワークフローの構築などが可能となる。これまで開発者は、オープンソースツール、プロンプト、リクエストの再試行を繰り返して、LLMの制限を回避し、モデル出力をシステムとの相互運用に必要な形式に一致させるよう努力してきた。

構造化出力は、この問題を解決し、開発者の生産性を大幅に向上させる。

技術的アプローチと実装方法

構造化出力の実現には、制約付きデコードと呼ばれる手法が採用されている。この手法では、モデルの出力を提供されたスキーマに従って有効なトークンのみに制約する。

具体的には、JSONスキーマを文脈自由文法（CFG）に変換し、各トークンが生成された後に次に有効なトークンを動的に決定する。これにより、無効なトークンの確率を実質的に0に抑え、100%の信頼性を実現する。

開発者は、関数呼び出しや応答フォーマットを通じて構造化出力を利用できる。関数呼び出しでは、関数定義内でstrict: trueを設定することで構造化出力を有効にできる。応答フォーマットでは、新しいresponse_formatパラメータを通じてJSONスキーマを指定できる。

下記の図は、strict: trueを設定したときとしていないときの比較グラフ。strict: trueを設定することで、100％の評価を記録したとのことだ。

利用可能性とコスト削減効果

構造化出力は現在、APIで一般提供されている。関数呼び出しを含む構造化出力は、API で関数呼び出しをサポートするすべてのモデルで利用可能だ。これには、最新のモデルgpt-4o、gpt-4o-mini、およびgpt-4-0613以降のすべてのモデル、関数呼び出しをサポートする微調整されたモデルが含まれる。

応答フォーマットを含む構造化出力は、gpt-4o-2024-08-06およびgpt-4o-mini-2024-07-18、これらのモデルに基づく微調整で利用できる。

新しいgpt-4o-2024-08-06に切り替えることで、開発者はgpt-4-turboと比較して、入力で50%（入力トークン100万個につき2.50ドル）、出力で33%（出力トークン100万個につき10.00ドル）のコスト削減が可能となる。

今後の展望と制限事項

構造化出力機能は、AIアプリケーション開発の効率と信頼性を大幅に向上させる可能性を秘めている。しかし、いくつかの制限事項にも注意が必要だ。構造化出力ではJSONスキーマのサブセットのみが許可され、新しいスキーマを使用した最初のAPI応答では追加のレイテンシーが発生する。

また、モデルが安全でないリクエストを拒否することを選択した場合や、生成が終了する前に別の停止条件に達した場合、モデルはスキーマに従えない可能性がある。

さらに、構造化出力は並列関数呼び出しと互換性がない。これらの制限を理解し、適切に対処することで、開発者はこの新機能を最大限に活用できる。今後、OpenAIがこれらの制限を緩和し、さらに機能を拡張していくことが期待される。

参照元：OpenAI

ChatGPTの仕組みを詳しく知りたい方はこちら、また、ChatGPTの導入支援会社をお探しの方はこちらの記事もご参考ください。