Golden Dataを使ったRAG回答精度改善のPDCAサイクル

RAG（検索による拡張生成）を活用したシステムの開発に取り組む企業が増えています。当社でもさまざまなお客さまとのプロジェクトでRAGの構築・運用を行っており、精度改善や業務成果につなげるためのノウハウの蓄積が進んでいます。

Difyに代表されるSaaS型のRAGプロダクトが増えていることもあり、シンプルなRAG開発の敷居は下がっています。一方で、RAGの構築と継続的な運用への投資に見合う成果を得る上では業務利用できる水準へと回答品質を高め、維持することに課題感を覚えているお客様がよくいらっしゃいます。

RAG構築に取り組むお客様から聞かれる声

建設系・DX部門

「開発部門内で事業部が利用するRAGを作っているがチューニングをして回答精度を高めたつもりでも事業部門からは『うまく回答が生成されない』『テストのときよりもパフォーマンスが下がっているように感じられる』といった声が上がってしまっている」

金融系・ガバナンス担当

「RAGの性質上、データの追加を頻繁に行うが過去にチューニングして改善した結果を壊してしまうことがあり、どのようにアプローチしたら良いか悩ましい。さまざまなコンポーネントやデータの変更がRAGの文章生成に影響を与えるのでイタチごっこのように感じられる」