ChatGPTでRAGを活用する方法は？課題や実装方法、活用事例、注意点を徹底解説！

多くの企業がChatGPTの活用を進める中で、社内情報の反映、機密情報の取り扱いやハルシネーションといった課題に直面しています。

その課題を解決すると期待されているRAG（検索拡張生成）は、質問に関連する社内文書などを検索し、その内容を参照して回答を生成する手法です。ChatGPTと組み合わせることで、モデルがあらかじめ持っていない社内情報や更新された資料も、回答に活用できます。

本記事では、ChatGPTとRAGを組み合わせてできること、導入方法、活用事例、実装時の注意点を解説します。RAG自体の仕組みは、以下の記事で詳しく説明しています。

関連記事：「RAG（検索拡張生成）とは？仕組みやLLMとの違い、メリット・活用例を解説」
関連記事：「ChatGPTとは？機能・モデル・ビジネス活用事例・使い方を解説」
関連記事：「RAGの構築・開発に強いAI開発企業と外注先の選び方」

ChatGPTとRAGの組み合わせでできること・注意点

RAGをChatGPTと組み合わせることで、社内文書や更新された資料を検索し、その内容を回答に活用できます。

以下では、社内情報の取り扱い、最新情報への対応、ハルシネーション、専門的な質問への回答という観点から、RAGでできることと注意点を説明します。

そのうえで、ファインチューニングやプロンプト設計との違いを比較します。

社内情報を扱う際のセキュリティ

RAGでは、社内の文書やデータベースから質問に関連する情報を検索し、回答の生成に利用します。検索結果は回答を生成するモデルに渡されるため、どの情報が、どのサービスに送信されるかをシステム構成に応じて確認することが重要です。

導入時には、参照資料へのアクセス権限、モデルに渡す情報の範囲、ログやデータの保持方法を設計します。ChatGPT Business、EnterpriseやOpenAI APIでは、入出力データはデフォルトでモデルの学習に使用されません。

社内の機密情報を扱う場合は、このデータ管理方針とあわせて、利用するサービスへの送信範囲を確認してください。

関連記事：「ChatGPTで情報漏洩が起こる？リスクに対処するポイントを徹底解説！」

参照：OpenAI｜ビジネスデータのプライバシー、セキュリティ、コンプライアンス

社内の最新情報を回答に反映する

ChatGPTは学習済みの知識だけでは、更新された社内規程や製品情報などを把握できず、古い情報に基づいた回答を出力する可能性があります。最新の情報に基づく回答が求められる業務では課題となります。

一方、RAGを用いることで、社内にある最新の業界レポートや製品情報などを回答時に検索し、その内容を参照できます。検索対象の資料を更新することで、新しい社内情報を回答に反映しやすくなります。

ファインチューニングで新しい情報を反映する場合は、学習用データの準備やモデルの再調整が必要になります。また、プロンプトエンジニアリングだけでは、指示文に含まれていない社内情報を参照できません。RAGはモデルを再調整せずに、更新された資料を回答時に利用できる点が特徴です。

ChatGPTのWeb検索でも公開されている最新情報を調べられますが、社内の非公開情報を回答に活用する場合は、RAGを用いて資料や業務アプリを適切なアクセス権限のもとで接続する必要があります。

関連記事：「ChatGPTの回答精度を上げる方法は？RAGの活用方法・プロンプト設計のコツも徹底解説！」

ハルシネーション

ChatGPTは、事実と異なる内容や、資料に書かれていない内容を、もっともらしい文章で回答することがあります。このような誤回答を「ハルシネーション」と呼びます。必要な情報が不足している場合だけでなく、参照した資料を読み違えたり、複数の情報を誤って結び付けたりした場合にも起こります。

例えば、社内規程について質問した際に、古い規程に基づいて回答したり、資料にはない例外条件を付け加えたりする可能性があります。回答が自然な文章で書かれていても、内容が正しいとは限りません。

RAGでは、質問に関連する社内資料を検索して回答時に参照させるため、モデルが学習した知識だけに頼る場合よりも、根拠のある回答を作りやすくなります。ただし、適切な資料が検索されなかったり、参照資料そのものが古かったりすると、RAGを利用しても誤回答は起こり得ます。

そのため、検索対象の資料を整備し、回答の参照元を確認できるようにすることが重要です。顧客への案内や専門的な判断に使う回答は、必要に応じて担当者が原資料と照合してください。

関連記事：「ChatGPTでハルシネーションを抑制する対策は？すぐ使えるプロンプト例・最新機能を活用した対策方法を徹底解説！」

専門性の低さ

ChatGPTは「パソコンの電源をつける方法」など普遍的な質問に対しては対応できる一方で、医療や金融など専門的な質問には十分に回答できない場合があります。

その点、RAGでは、社内に蓄積された特定業務のマニュアルや問い合わせ例を参照し、「製品の具体的な操作方法」など業務や専門分野に特化した質問にも的確に回答することが可能です。

ファインチューニングは、特定のドメインに特化しすぎて汎用性を失わせる可能性があります。RAGは基本的なLLMの能力を維持しながら、必要に応じて外部知識を活用しますので、特定ドメインの専門性と一般的な言語理解のバランスを取ることができます。

RAGにより、特化型AIソリューションとしてのChatGPTの利用価値がさらに向上します。

ファインチューニング・プロンプトエンジニアリング・RAGの比較一覧

以下の表は、ファインチューニング・プロンプトエンジニアリング・RAG、各手法の主な特徴、課題、メリットを比較しています。

RAGは多くの面で他の手法よりも優れていますが、外部データの信頼性に依存するという課題もあります。実際の適用では、これらの手法を組み合わせて使用することも多く、特定の用途や要件に応じて最適な方法を選択することが重要です。

関連記事：「RAGとファインチューニングの違いは？システム開発の工数・コスト・効果を徹底比較！」

LLM×RAGに強い会社の選定・紹介を行います

今年度RAG相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・貴社に最適な会社に手間なく出会える
・AIのプロが貴社の代わりに数社選定
・お客様満足度96.8%超

完全無料・最短1日でご紹介 LLM×RAGに強い会社選定を依頼する

ChatGPTにRAGを導入する方法

ChatGPTと社内情報を組み合わせる方法には、ChatGPTの社内ナレッジ機能を利用する方法と、OpenAI APIなどで独自のRAGシステムを開発する方法があります。

社内ナレッジ機能は、対応する業務アプリや情報源を接続して利用します。

独自開発では、社内文書を検索できるように整備し、質問に関連する情報を取得してから、その内容をモデルに渡して回答を生成します。

OpenAI APIにはファイル検索機能もあります。既存システムとの連携や細かな検索・権限設計が必要な場合は、独自開発を検討します。

関連記事：「OpenAI APIとは？提供モデル・使い方・料金・実際の活用方法例も徹底解説！」

参照：OpenAI｜ChatGPT の社内ナレッジ
参照：OpenAI｜File search

ChatGPTの社内ナレッジ機能を使う方法

ChatGPTの社内ナレッジ機能では、対応する業務アプリや情報源を参照し、組織固有の質問に回答できます。ChatGPT Business、Enterprise、Eduで、ワークスペースの設定や利用する情報源が条件を満たす場合に利用できます。

接続先の既存のアクセス権限が適用され、ユーザーが閲覧を許可されている情報を参照します。導入時には、対象アプリの接続、管理者設定、元データの権限を確認してください。回答に参照元へのリンクが表示される場合は、内容を開いて確認できます。

関連記事：「ChatGPT社内知識機能（Company knowledge）とは？できること・使えるプラン・使い方を解説」

参照：OpenAI｜ChatGPT の社内ナレッジ

ユーザーとの応答の仕組み

独自にRAGを構築する場合、一般的には次の流れで回答します。

1. ユーザーが質問する
2. 権限のある資料から、質問に関連する箇所を検索する
3. 質問と検索結果をモデルに渡す
4. 生成された回答を、必要に応じて参照元とともに表示する

検索にはベクトル検索を使う方法がありますが、キーワード検索などを組み合わせる方法もあります。

関連記事：「ベクトル検索とは？仕組み・LLMでの役割・実装方法・活用事例を徹底解説！」

ChatGPT×RAGの活用事例

ChatGPTの企業活用ニーズが高まる中で、ChatGPTを搭載したRAGサービスの提供が増えつつあります。以下では、ChatGPTとRAGを組み合わせて活用している企業事例について紹介します。

ChatGPT以外でも多くあるRAG活用事例をこちらの記事で詳しく説明していますので併せてご覧ください。

【味の素／ナレッジセンス】新レシピ開発など食品業界ならではの業務に活用

味の素冷凍食品では、本格的に社内のDXを推進する中で、セキュアな環境でChatGPTを利用できるナレッジセンス社の「ChatSense」を導入しました。社内データをChatGPTに参照させるRAG機能を利用して、業務のノウハウや注意点を参照させ、従業員をサポートするAIを作成しました。

RAGを通じて社内に蓄積された知見やノウハウを活用することで、生産性向上につなげています。

参照：ナレッジセンス｜味の素冷凍食品、ChatSenseを全社導入。スモールな検証で見えた生成AIの「手応え」、全社展開の戦略

【くすりの窓口／クラスメソッド】RAG技術を活用した生成AI チャットボットを導入

株式会社くすりの窓口では、専門用語やオペレーションが異なる複数のサービスに対応する中で、従業員の理解度により顧客からの問い合わせに対する回答の質の差に課題がありました。

そこで、RAG技術搭載の生成AI チャットボットをPoC検証用として社内へ導入しました。クラスメソッド株式会社が開発したチャットボットにはサービスの操作マニュアルなどを集約しています。

複数ある基盤モデルからOpenAIのGPTモデルを採用し、AWS（Amazon Web Services）上でセキュアな環境を構築しています。

従業員はまずAI チャットボットから精度の高い回答を得て、それをもとに顧客に回答することで、正確さを向上させています。

参照：クラスメソッド｜くすりの窓口様事例：RAGを活用した生成AIチャットボット提供

【京都トヨペット／SELF】社内問い合わせ対応を削減

京都トヨペットは、DXツールの導入や制度改革を積極的に進める中で、本部への問い合わせの増加や従業員における理解の浸透が課題となっていました。そこで、社内問い合わせや資料検索にかかる工数削減を目指し、RAG技術を活用したChatGPTライクのチャットボット「SELFBOT」を導入しました。

SELF株式会社が開発したSELFBOTは、学習した各部署が扱うURLや社内文書、QAなどの膨大なリソースをもとに、効率的に情報を検索・高精度で回答できるチャットボットです。

これにより、従業員と本部双方の問い合わせ対応が大幅に軽減され、従業員満足度と生産性向上に大きく寄与しています。

参照：SELF｜店舗→本社への問い合わせ対応を“生成AIチャットボット”で効率化！京都トヨペットの取り組み

【WOWOW／Exa Enterprise AI】社内規定など自社データの活用にも取り組む

株式会社WOWOWでは、アイデア出し・プログラミング相談・英語の翻訳・ミーティングの議事録作成など幅広い業務で、株式会社Exa Enterprise AIが開発した「exaBase 生成AI」を活用し、生産性の向上を実現しています。RAG技術を活用した自社データの利用にも取り組み始め、「作業支援」と「社内の規定集」において積極的に活用しています。

例えば、作業支援への活用を目的としたテストでは、公開資料を生成AIに読み込ませ、プロンプトを経て人と同等の作業結果を出すことに成功しています。複雑な資料作業に取り掛かる際の心理的負担を軽減し、効率的に作業を進められることが期待されています。

また、社内の規定集への活用においては、膨大な社内規定を取り込んだ生成AIがガバナンス関連の電子研修で最適解を出力するなど、実用レベルの正確性が確認されました。

参照：エクサウィザーズ｜膨大な初期投資額と導入までの時間をコンパクトに。生成AIの社内活用を早期に実現

LLM×RAGに強い会社の選定・紹介を行います

今年度RAG相談急増中！紹介実績1,000件超え！

・ご相談からご紹介まで完全無料
・貴社に最適な会社に手間なく出会える
・AIのプロが貴社の代わりに数社選定
・お客様満足度96.8%超

完全無料・最短1日でご紹介 LLM×RAGに強い会社選定を依頼する

ChatGPTにRAGを実装する際の課題

RAGによりChatGPTの活用領域を拡大できる一方で、RAGにも活用するうえで課題が存在します。

以下では、RAGの課題を紹介します。また、それぞれの課題に対する有効な解決法についても簡単に解説します。

参照するデータベースへの依存

RAGは外部データベースから情報を取得するため、そのデータの質が応答の質に直結します。社内の信頼性の低いデータを使用すると、逆に誤った情報が生成されるリスクが高まります。

また、データベースの更新頻度が低く、古い情報しかない場合には最新情報を反映した回答ができなくなる点も課題の一つです。

そのため、RAGを効果的に活用するうえでは、データを精査したうえで定期的にデータを更新することで、連携するデータベースの信頼性を確保することが重要です。

そのためには、データの整合性や品質を維持するための監査プロセスを導入する必要があります。

実装の複雑さ

RAGの実装には、企業が保持するデータベースや情報ソースの統合の調整や、データの整合性を保つためのデータクレンジングやデータ構造の最適化が必要です。

独自にRAGシステムを開発する場合は、社内文書の整備、検索方法の選定、アクセス権限の反映、回答精度の評価などが必要です。ChatGPTの社内ナレッジ機能を利用する場合も、対応する情報源や管理者設定、元データの権限を確認する必要があります。

専門外の企業がRAGを実装するうえでは、データベース管理やベクトル検索技術に関するスキルを持つ外部の専門家や技術パートナーとの協力が推奨されます。

応答時間の長さ

RAGシステムでは、検索した情報をもとに回答を生成するため、応答時間が生成AIよりも長くなる傾向にあります。そのため、社内の基幹システムのトラブル解決など回答のスピードが重視される場合には、活用が難しくなります。

応答時間を短縮するためには、効率的なインデックス作成やクエリ最適化の技術が必要です。また、応答の高速化には、ハードウェアの性能やデータベースの構造も重要な要素となります。

例えば、キャッシュメカニズムを活用して頻繁に使用されるデータへ迅速にアクセスできるようにすることや、並列処理を活用してクエリの処理速度を向上させることも効果的です。

セキュリティ対策の必要性

ChatGPTにRAG（Retrieval Augmented Generation）を実装することで新たなセキュリティ課題も生じさせます。

主な課題は、RAGがアクセスする「知識ベース」の管理です。まず、この知識ベースへのアクセス制御が不適切だと、機密情報や個人情報が権限のないユーザーに意図せず開示されてしまう情報漏洩リスクがあります。

次に、知識ベースに悪意のある情報や誤情報が混入（データポイズニング）した場合、ChatGPTがそれを基に不正確または有害な回答を生成する可能性があります。さらに、巧妙なプロンプト（指示）により、本来アクセスが許可されていない知識ベース内の情報を不正に引き出そうとするプロンプトインジェクション攻撃のリスクも無視できません。

これらのリスクに対応するため、RAGを実装する際には、知識ベースへの厳格なアクセス権限管理、入力されるプロンプトの検証、参照データの信頼性確保、そしてLLMからの出力内容のフィルタリングといった、RAG特有のセキュリティ対策を講じることが不可欠です。

ChatGPTとRAGについてよくある質問まとめ

まとめ

RAGをChatGPTと組み合わせると、社内文書や更新された資料から関連情報を検索し、回答に活用できます。ChatGPTの社内ナレッジ機能を使う方法と、APIを利用して独自に構築する方法があり、必要な連携や権限管理に応じて選択します。

回答の品質は、参照資料の内容や検索精度に左右されます。導入時には、資料の更新、アクセス権限、回答の参照元、実際の質問を使った評価をあわせて設計することが重要です。