運用の中で育てながら改善できる 「RAGOps」テンプレートをリリース
「現場で使える」生成AI活用を自分たちで実現する
エンタープライズにおけるLLMを中心とした生成AIの利活用が目覚ましく進んでいます。
現在のDX部門の課題は、ユーザ部門の現場に役立つレベルで、LLMのサービスを企画・開発することです。そのためにはLLMのプロンプトエンジニアリングを越えた、個別業務にあわせたカスタマイズが必要です。そこで、業務データを柔軟に取り込みながらLLMのアウトプットをチューニングする「RAG(検索による拡張生成)」が注目され、企業での導入が進んでいます。
RAGの現場導入を推進されているお客さまの多くのお悩みとして、「RAGの精度が出ない(回答品質が低い)」「実用化までの距離が遠い」というお声を伺います。そのような課題にお答えすべく、”育てるRAG”をコンセプトとした「RAGOps」を実現できるテンプレートをリリースしました。
RAGOpsテンプレートにより、RAGを素早く立ち上げ、実際の現場での業務利用の中でデータを取得しながら、RAGの精度を運用の中で効果的に高めていくことが可能です。
RAG(ラグ)とは、LLMを使う際に業務で扱うデータなどの関連情報をデータベースから検索して生成プロセスに取り込む手法です。これにより、業務文脈に合った正確な応答が可能になります。社内の知識ベースを活用して、業務に特化した賢い会話AIを作ることができます。
RAGとは、Retrieval-Augmented Generation(検索による拡張生成)の略です。
一般的にRAGを効果的に役立てるのに必要な機能・運用には、様々なものがあります。
データ収集、データクリーニング、データ拡張、ユーザフィードバックの収集、ナレッジベースの更新、セキュリティとプライバシーの確保などなど
RAGで成果を出すには、これらの要素を適切に組み合わせ、業務に合わせて継続的に運用していくことが必要です。このRAGの効果的な運用のことを、RAGOps(=RAG Operations)と呼びます。
RAGOpsテンプレートについて
RAGOpsテンプレートは、運用の中で“育てながら”改善できる仕組みを持つexaBase Studio上のRAGアプリケーションテンプレートです。運用の中でRAGの回答品質を改善する機能を持つことで、運用開始へのハードルをぐっと引下げます。
テンプレートは、exaBase Studioの上でコピー＆ペーストできる手軽さで簡単に試すことができ、その中の各パーツを、業務内容や利用しているサービスにあわせて自由に追加・入替できる仕組みになっています。これはexaBase Studioの機能が可能にする特長で、まずは触れるものを元にクイックウィンを重ねて、成果をあげながらインクリメンタルに拡張していく開発スタイルを実現します。
RAGテンプレートの構成
上はRAGOpsテンプレートのアーキテクチャ(システムの構造)ですが、大きく分けて３つの処理部を持ちます。
- コミュニケーションエージェント ユーザと各システムの間のインターフェースの役割を担う。ユーザからの質問に対する回答の返却、オペレーターへの回答登録依頼、高評価な回答を再利用するための各種DBへの登録などを行う
- データセットマネジメントサービス データを活用する文脈ごとにデータセットを作成・管理し、データセットを適切なデータベースに格納する。これにより、データアクセス管理の設定やRAGによるデータ検索の品質向上を実現する
- データローダー データベースよりデータを取得する
特にコミュニケーションエージェントには、ユーザへの回答生成において、過去の質問と回答を活用し、効率的かつ高品質な回答を提供するコンシェルジュのような役割として、ユニークな特徴を持たせています。
- RAGOpsでは、過去のユーザの質問と回答を、ユーザからの評価に基づいてキャッシュDBにて管理
- 類似の質問があった場合、LLMをコールするRAGの仕組みを使わずにキャッシュDBを参照し回答することで、コスト効率化と回答品質の向上を実現
- 質問に関連する業務データの抽出、関連するオペレータの過去回答を検索し、効果的な結果が得られるプロンプトを作成し、LLMから回答を取得
- 回答にユーザが満足しなかった場合、オペレーターへ接続する
- 質問に対する適切な回答を、オペレーターからアンサーDBに登録させることで、以降、類似の質問に対してアンサーDBを参照し、適切な回答を返すことができる
続いて、「RAGOps」テンプレートの特長についてご紹介します。
RAGテンプレートの特長
● 特長1 使いながら“育てる”システム
FAQボットなどで、時折ユーザが満足できる回答が得られないことがあります。その原因の多くは、RAGが回答を生成するために適切なデータがないことです。RAGOpsテンプレートには、ユーザが良質な回答を得られなかった際のフィードバックを取得し、自動で適切な担当者へ回答を作成してもらうよう促す機能があります。
多数のユーザからのフィードバックがストックされていく力は強力です。もし100人のユーザが一人一度だけフィードバックすると100回分のフィードバックが集まりますが、その100回分のデータ改善が、一人一人にとってのシステムの使用価値を高めてくれます。
このような、人のフィードバックを介在させたAIサービスの精度改善のことを一般的に“Human in the loop”と呼びます。
人がAIの出力をチェックし、改善点を指示することで、AIの性能を高める手法です。例えばRAGシステムでは、運用の中でユーザの満足度に基づきオペレーターが回答を修正することが該当します。このように、人間の関与により質問への回答精度が向上していきます。
実際のユーザフィードバックのデモを御覧ください。
RAGの典型的なユースケースである「社内規程・マニュアルについての問い合わせ」の中で、ユーザのフィードバックが回答品質を向上させています。
● 特長2 ユーザ権限に応じたデータアクセスで回答を生成
企業内のデータアクセスをユーザ権限や役割に応じてコントロールしたい場合がありますが、それはRAGにおいても同様の課題です。
例えば、社内の人事評価マニュアルを使ってQ&AシステムをRAGで作ろうとした場合、「評価する側である管理職向け」のマニュアルもあれば、「評価される側である社員向け」のマニュアルもあると思います。システムは極力一つにしておきたいですが、評価者向けのマニュアルは管理職や人事部員だけがアクセスできるように制限したいです。
そのような場合のために、RAGOpsテンプレートでは、RAG利用時にユーザの権限設定にあわせてアクセスできるデータベースを強制的に分離し、本来アクセスできない情報を含めず適切な回答生成を行うことができます。
次のデモでは、RAGのデータベースに管理職向けの人事評価マニュアルをアップロードし、課長職以上と人事のみに権限設定をしています。
● 特長3 Amazon Bedrockとの連携でよりセキュアに
RAGOpsでは各社のLLMを自由に選択することができます。
exaBase StudioはさらにAmazon Bedrockと連携することで、AWSのネットワークに閉じた安全な回答生成が可能となります。
Amazon Bedrockを通じて、AI21 Labs、Anthropic、Cohere、Meta、Stability AI、Amazonなどが提供するLLMをAPI経由でご利用いただけるサービスをご提供します。テキストだけでなく、映像や画像などマルチモーダルなデータタイプにも対応しており、業務での利用シーンの幅が広がります。
関連プレスリリース：「エクサウィザーズの「RAGOps」が、AWSの生成AIサービス「Amazon Bedrock」に対応」(2024年5月14日)
現場のためのナレッジマネジメントの自動化へ
RAGOpsテンプレートによってお客様と実現したいことは、エンドユーザの役に立つナレッジマネジメントの自動化です。
今回実装した仕組みは、ユーザが質問できるシステムであると同時に、システムがユーザに自ら質問してくれるものでもあります。つまり、ユーザからのフィードバックをきっかけに、AIが自ら情報を取りにきてくれ、ユーザの役に立つデータベースを自ら拡充してくれる、というあり方です。これにより、集合知を自動で集めながら、現場のエンドユーザ中心のAIシステムを実現していくことが可能になります。
例えば次のデモでは、ある営業における失注理由をRAGに質問していますが、そもそも失注理由の情報が登録されていないため、よい回答が得られませんでした。RAGにフィードバックすることで、コミュニケーションエージェントを通じて、失注理由を担当者に聞きにいってくれます。
RAGOpsはAI時代の業務生産性を高めるナレッジマネジメントツールとして、非常に高いポテンシャルがあります。
RAGOpsテンプレートのお問い合わせ
RAGOpsテンプレートに関するより詳しいご案内をお求めのお客様は、下記よりお問い合わせ下さい。