最終更新日：2024-08-22

Anthropic、新機能「プロンプトキャッシング」で開発を効率化

AIニュース

Anthropic社は、APIに新機能「プロンプトキャッシング」を導入したことを発表した。この機能により、開発者は頻繁に使用されるコンテキストをAPI呼び出し間でキャッシュできるようになる。長いプロンプトに対して、コストを最大90%、レイテンシーを最大85%削減することが可能だ。

現在、Claude 3.5 SonnetとClaude 3 Haikuで公開ベータ版として利用可能で、Claude 3 Opusにも近日中に対応予定だ。この新機能は、会話エージェントや大規模文書処理など、様々なユースケースで大幅な速度とコストの改善を実現している。

＜本ニュースの10秒要約＞

Anthropic社がAPIに「プロンプトキャッシング」機能を導入し、長いプロンプトに対してコストを最大90%、レイテンシーを最大85%削減
会話エージェント、コーディング支援、大規模文書処理など、多様なユースケースで効果を発揮し、開発効率を大幅に向上
キャッシュの書き込みは基本入力トークン価格の25%、読み取りは10%で、使用頻度に応じた柔軟な料金設定を提供

プロンプトキャッシングの活用シーン

プロンプトキャッシングは、大量のプロンプトコンテキストを一度送信し、その後の要求で繰り返しその情報を参照したい状況で効果を発揮する。

具体的には、会話エージェント、コーディング支援、大規模文書処理、詳細な指示セット、エージェンティックな検索やツール使用、長文コンテンツとの対話などが挙げられる。

例えば、会話エージェントでは、長い指示やアップロードされた文書を含む長時間の会話でコストとレイテンシーを削減できる。コーディング支援では、コードベースの要約版をプロンプトに保持することで、オートコンプリートやコードベースに関する質問応答を改善できる。また、大規模文書処理では、画像を含む完全な長文資料をレイテンシーを増加させずにプロンプトに組み込むことが可能となる。