拓海先生、最近部下から”RAG”って言葉が出てきて困っています。どんな論文か教えていただけますか。投資対効果を考えたいものでして。
素晴らしい着眼点ですね！まず結論を三行で言うと、retrieval-augmented generation（RAG、検索強化生成）システムの評価を、質問を細かいサブ質問に分解して『どれだけ重要な側面を網羅できているか』で見る新しい枠組みを示した論文です。投資対効果の観点でも、何が足りないかを明確にするので無駄な投資を減らせますよ。
要するに、昔の”正誤だけ見る評価”とは違って、回答がどれだけ論点を拾っているかを評価するということですか？これって現場で使えるのでしょうか。
その通りです。重要なポイントは三つです。第一に質問を”サブ質問”に分解すること、第二に各サブ質問をコア（核心）、バックグラウンド（背景）、フォローアップ（追問）に分類すること、第三に回答と検索結果の双方でそれぞれのサブ質問がどれだけカバーされているかを測ることです。経営判断で使うなら、どの側面に追加情報が必要かが数値でわかりますよ。
ふむ。で、現状のRAGって検索（retrieval）の出来次第で結果が大きく変わりますよね。これで評価すれば検索の改善点も見えますか。
はい。まさにそこが肝心です。評価は回答だけでなく、実際に検索されたチャンク（文書の断片）にも適用します。つまり検索がコアを拾えていないのか、あるいは拾えていても生成がうまく組み合わせられていないのかを切り分けられるのです。投資は検索改善か生成改善か、判断が付けやすくなりますよ。
これって要するにサブ質問ごとの網羅性を測るということ？部下に伝えるときに簡単な言い方が欲しいのですが。
分かりやすい表現だと、「回答が聞きたいポイントの全てを拾えているかを項目ごとにチェックする仕組み」です。要点は三つにまとめられます。まず重要箇所を分解して可視化すること、次に検索と生成のどちらが不足かを判断すること、最後にその差分に基づいて改善策を優先付けすることです。大丈夫、一緒にやれば必ずできますよ。
実験はどんな感じでやったのですか。現場の質問ってばらつきが大きいので、再現性が気になります。
著者らは複雑な開放型の非ファクト質問を200件手作業で分解し、サブ質問のタイプ付けとカバレッジのラベリングを行いました。そして市販のRAGサービスを対象に評価を行い、検索と生成のどちらがボトルネックになっているかを分析しました。再現性のために手順と評価指標を公開しており、社内の検証にも応用できますよ。
導入コスト感はどれくらいでしょう。うちの現場はIT投資に慎重でして、まず小さく試したいのです。
最初は小さく、次に拡げるという方針がよいです。まずは数十件の代表的な質問を選び、それを分解して評価指標を作るだけで十分に学びが得られます。その結果で検索改善が効果的なら既存のドキュメント整理に投資し、生成の問題ならテンプレートやプロンプト設計に投資する、と切り分けられます。失敗を恐れずに試すことが早道です。
分かりました。では私なりにまとめます。つまり、質問を細分化して重要度を付け、回答と検索の両方でその細分化された項目をどれだけカバーしているかを数で見る。これでどこに投資すべきか判断できる、ということですね。今日はありがとうございました、拓海先生。
