AIBR プレミアム
拓海先生、最近部下から「代表例（exemplar）の選び方でLLMの回答が変わる」と言われまして、正直ピンと来ません。今回の論文はどういう話なのですか？
素晴らしい着眼点ですね！簡単に言えば、LLMにいくつかの解き方の例を見せると、同じようなやり方で答えを作る性質があるんです。今回の論文は、単に似ている文を選ぶのではなく、解法の“構造”を比べて最適な例を選ぶ方法を提案しているんですよ。
つまり、文章の言葉遣いが似ているだけではダメで、解き方の筋道が似ている例を選んだ方がいい、ということでしょうか。
その通りです。要点は3つです。1つ目、従来はクエリと代表例の意味的類似性（semantic similarity）だけを見ていた。2つ目、本論文は解法過程をグラフで表現して構造類似性を測る。3つ目、それを組み合わせることで複雑な推論問題に強くなるんですよ。
投資対効果の観点で聞きたいのですが、導入で工数がかかるなら現場に負担が増えます。これって要するに、似た構造の問題をベースに例を選べばいいということ？
良い質問です。工数は増えますが、やるべきは二段階です。まずは既存の類似検索（dense retriever）で候補を絞り、次に推論過程の構造で再ランクする。つまり、初期投資で精度が向上し、その後は運用で取り戻せる形にできますよ。
その「推論過程の構造」は現場の担当者が作るのでしょうか。それとも自動で作れるのですか。
現状は半自動です。論文では人が作った一連の中間ステップを有向グラフ（directed graph）で表現していますが、最近の流れだとLLM自身にチェイン・オブ・ソート（Chain-of-Thought, CoT）で生成させて構造化することも可能です。将来的には自動化が現場負担を下げることが期待できますよ。
運用ではどんなケースで効果が出やすいですか。うちの現場は計算式や手順が複雑な工程があるのです。
まさにそういうケースに向きます。算数や論理だけでなく、工程の論理的手順が重要な業務で高い効力を発揮します。要点は3つです。複雑な手順があること、既存の例が存在すること、そして代表例の構造を整備できる体制があることです。
なるほど。最後に確認ですが、現場に導入すると現行の「似ている文章を探す」手法と比べて、精度や信頼性でどれくらい差が出ますか。
論文の実験では数学や論理のタスクで既存手法を上回る結果が示されています。重要なのは、単に単語が似ている例では引っかかる「誤誘導」を減らせることです。導入の際にはまずパイロットで効果を定量化し、ROIで判断する進め方が良いですよ。
よく分かりました。要するに、似た言葉よりも似た「解き方の道筋」を参考に代表例を選べば、誤った類推を避けられて精度が上がる、ということですね。自分の言葉で言うとそういう理解で合っていますか。
