Anthropic、新機能「プロンプトキャッシング」で開発を効率化

Anthropic社は、APIに新機能「プロンプトキャッシング」を導入したことを発表した。この機能により、開発者は頻繁に使用されるコンテキストをAPI呼び出し間でキャッシュできるようになる。長いプロンプトに対して、コストを最大90%、レイテンシーを最大85%削減することが可能だ。

現在、Claude 3.5 SonnetとClaude 3 Haikuで公開ベータ版として利用可能で、Claude 3 Opusにも近日中に対応予定だ。この新機能は、会話エージェントや大規模文書処理など、様々なユースケースで大幅な速度とコストの改善を実現している。

＜本ニュースの10秒要約＞

• Anthropic社がAPIに「プロンプトキャッシング」機能を導入し、長いプロンプトに対してコストを最大90%、レイテンシーを最大85%削減
• 会話エージェント、コーディング支援、大規模文書処理など、多様なユースケースで効果を発揮し、開発効率を大幅に向上
• キャッシュの書き込みは基本入力トークン価格の25%、読み取りは10%で、使用頻度に応じた柔軟な料金設定を提供

プロンプトキャッシングの活用シーン

プロンプトキャッシングは、大量のプロンプトコンテキストを一度送信し、その後の要求で繰り返しその情報を参照したい状況で効果を発揮する。

具体的には、会話エージェント、コーディング支援、大規模文書処理、詳細な指示セット、エージェンティックな検索やツール使用、長文コンテンツとの対話などが挙げられる。

例えば、会話エージェントでは、長い指示やアップロードされた文書を含む長時間の会話でコストとレイテンシーを削減できる。コーディング支援では、コードベースの要約版をプロンプトに保持することで、オートコンプリートやコードベースに関する質問応答を改善できる。また、大規模文書処理では、画像を含む完全な長文資料をレイテンシーを増加させずにプロンプトに組み込むことが可能となる。

プロンプトキャッシングの効果と価格設定

プロンプトキャッシングの導入により、様々なユースケースで大幅な速度とコストの改善が見られている。

具体的な数値として、10万トークンのキャッシュされたプロンプトを使用した本との対話では、レイテンシーが79%減少し、コストが90%削減された。また、1万トークンのプロンプトを使用した多数ショットのプロンプティングでは、レイテンシーが31%減少し、コストが86%削減された。

価格設定については、キャッシュの書き込みは基本入力トークン価格の25%、読み取りは10%となっており、使用頻度に応じた柔軟な料金体系が提供されている。

Notionの事例と今後の展望

プロンプトキャッシングの導入事例として、NotionがAIアシスタント「Notion AI」のClaude搭載機能に本機能を追加している。コスト削減と速度向上により、Notionは内部運用を最適化し、顧客により高度で応答性の高いユーザーエクスペリエンスを提供できるようになった。

Notionの共同創業者であるSimon Last氏は、「プロンプトキャッシングを使用してNotion AIをより速く、安価にし、同時に最先端の品質を維持できることに興奮している」とコメントしている。

参照元：Anthropic Newsroom