RAGの定義
RAG（ラグ）とは、Retrieval Augmented Generation の略で、検索拡張機能とも呼ばれます。ユーザーが質問した内容をネットなどの外部データを検索し、検索結果を返すシステムです。
RAGのしくみ
情報を「さがす」
RAGは外部情報を検索することができます。LLM※（大規模言語モデル）に外部検索機能が追加されたようなものです。システムを簡単に図形化すると以下のような流れになります。
※LLMは事前に学習させた膨大なデータに基づいて、単語や文章のつながりを適切に予測し、高性能なテキストの生成ができるAIです。LLMの種類：OpenAIのGPT-3, GPT-4等
RAGのメリット
RAGは外部から情報を取得できるため、より最新の情報を回答として返すことができます。また、社内データを検索することもできるので、社内運用等にも活用できます。
外部データも、内部データも検索できるとなると、セキュリティ面に不安が出てきますが、外部のAIが内部独自のデータを学習してしまうことはないため、データ流出の心配はありません。
RAGの外部データ検索技術
外部データからも情報を得ることができるRAGシステムですが、検索の精度がかなり重要になってきます。導入する検索技術についても、理解しておかなければなりません。せっかく外部からデータを取得できたのに、全く回答の精度が高くないという問題に直面してしまうからです。
Webページ内で検索する際に、少しでも表現が異なると検索結果に表示されなかったことはありませんか？
このように、検索というのは、色々な検索の方法があります。主に、全文検索、セマンティック検索、ハイブリット検索などがあげられます。これらの検索方法を、簡単にまとめて、RAGシステムに適しているかを見ていきましょう。
全文検索
簡単に言うとキーワード検索です。文書やデータベースの中にあるすべての文字を対象として、キーワードや文字列を検索する方法です。
ファイルサーバーや、メールサーバーはこの検索技術を利用しています。
ただ、文字列と一致する内容を探しているだけなので、言葉を理解しているわけではありません。
単語や文章のつながりを適切に理解して、回答を生成するRAGシステムにとって、単体で使うにはあまり適切な方法とは言えません。
セマンティック検索
入力されたキーワードから意図や意味を理解し、その解釈に基づき関連性の高い情報を検索する方法です。
また、セマンティック検索の中にも、ベクトル検索と呼ばれる種類が存在します。ベクトル検索とは、テキストや画像などのデータを数値のベクトルに変換し、類似度を計算します。類似度が高ければ高いほど、検索結果として表示されます。
RAGシステムに適してはいますが、調べたい情報が明確な場合、関連情報が邪魔をして、目的にたどり着くのが遅くなる可能性があります。
ハイブリッド検索
複数の検索方法を組み合わせることで、検索結果の精度や関連性を向上させる方法です。
例えば、全文検索とセマンティック検索のハイブリッド検索だとしましょう。キーワードに一致するだけでなく、意味的に関連性の高い文書も検索できます。このことから、よりユーザーの意図に沿いながら、精度の高い回答を生成できるなど、それぞれの検索技術の強みを生かすことができます。
回答精度を求める場合、RAGシステムにとっても適した検索方法だと思います。
RAGの注意事項
システム内で検索し、引用した情報の真偽までは追及しません。なので、間違った情報を生成する場合があります。質問を何度かしてみる、疑わしいものは、自分で調べるなどして、慎重に利用する必要がある場合があります。
RAGの応用例
AIチャットボット運用
RAGシステムを導入したチャットボットを利用し、よくある質問などはチャットボットで回答することができます。これを使うことにより、ユーザー側は、検索の手間や、よくある質問欄から、該当箇所を探す手間を省くことができます。また、過去の問い合わせ履歴等データを活用することで、カスタマーサポートとしてもサポートができ、ある程度の質問は24時間体制でサポートができます。
情報を要約・抽出
テキストファイル・文章等を要約する、重要な情報・欲しい情報を素早く抽出することが可能です。
まとめ
チャットボット運用などにも利用できますが、他にも利用できる場面がたくさんあると思われます。上手く活用ができれば、コストダウンにつながるなどのメリットにつながるかもしれません。
私たちは、生成AIの導入から運用までをサポートする専門チームを擁しており、お客様のニーズに応じた最適なソリューションをご提案します。