拓海先生、お世話になります。部下から「LLMにデモを入れれば学習が早くなります」と聞きましたが、どこにそのデモを置くかで結果が変わると聞いて驚いております。要するに同じ見本を置くだけで結果が大きく変わるのですか。
素晴らしい着眼点ですね！大丈夫、結論から言うと「はい、同じデモでも置き場所でモデルの答えが大きく変わる」ことが報告されていますよ。わかりやすく三点で整理すると、(1) デモの位置が予測精度に影響する、(2) デモが前にある方が良い傾向がある、(3) 同じ設定でも答えが入れ替わることがある、ということです。ゆっくり説明しますよ。
それは経営判断に直結しそうです。現場でテンプレートを作ってもうまくいかないと無駄な投資になりかねません。これって要するに「同じ見本でも順番や置き場で性能が変わるから、運用ルールを決めないと再現性がない」という話ですか。
その通りですよ、専務。ここで重要なのは、In-context Learning (ICL、文脈内学習) の運用方針を設計する点です。専門用語を噛み砕くと、ICLは「モデルにいくつかのお手本（デモ）を見せて、その後で質問をするとモデルが似たように答える仕組み」です。つまりお手本の置き方が現場の品質を左右します。まずは再現性を担保する三つの方針を提案しますね。
方針というのは運用ルールでしょうか。たとえば「常に質問の前にデモを3件置く」とか、そういうものですか。投資対効果の観点からは柔軟さも維持したいのですが、まずは安全側に振るべきでしょうか。
いい質問ですね。まずは安全側で「プロンプト設計の標準」を作るのが合理的です。要点は三つで、(1) デモの配置位置を固定する、(2) デモの数と形式を運用マニュアル化する、(3) 定期的に配置の変更が及ぼす影響をモニタリングする、です。これで現場のバラつきを抑えつつ、段階的な改善ができますよ。
なるほど。現場にはテンプレートで統一させるが、効果が見えたら徐々に改善していくわけですね。ところで、具体的にどれくらい結果が変わるものなのでしょうか。数パーセントの差なら許容できますが、20%近く変わるという話も聞きました。
はい、実証的な研究ではデモの位置を変えるだけで精度が最大で約20パーセント変動し、予測が反転するケースも報告されています。専門用語で言えば、これはDEMOS’ POSITION IN PROMPT bias (DPP bias、プロンプト内デモ位置バイアス) に相当します。数字としては無視できない大きさであり、業務用途では致命的になり得ますよ。
それはかなり大きいですね。要するに運用を誤ると、想定していた判断ミスや品質低下が出るということですね。では、我が社ではどこから手をつければ良いでしょうか。小さく始めて検証する方法があれば教えてください。
大丈夫、一緒にやれば必ずできますよ。まずは小さな実験で三週間単位のA/Bテストを回すのが現実的です。要点は三つで、(1) 同一デモを二つの位置で比較する、(2) KPIを明確にする（正答率、安定性、誤答の意味合い）、(3) 結果が安定するまで設計を固定する、です。これでリスクを抑えながら学べます。
わかりました。まずはテンプレートで位置を固定して小規模実験を回し、指標が出たら全社展開を検討します。これで社内の混乱を避けられそうです。では最後に、今回の論文の要点を私の言葉でまとめますと、「同じ見本を置いても、どこに置くかでモデルの答えが大きく変わるため、プロンプト設計の標準化と位置のモニタリングが必須」ということでよろしいですね。
1. 概要と位置づけ
結論を先に述べると、この研究が最も変えた点は「プロンプト設計の構造（位置）が再現性と性能に決定的に影響する」という認識を普及させたことである。本研究はIn-context Learning (ICL、文脈内学習) において、デモ（demonstrations、見本）の配置位置だけを変えたときに生じる性能変動、すなわちDEMOS’ POSITION IN PROMPT bias (DPP bias、プロンプト内デモ位置バイアス) を系統立てて示した。これまでデモの選び方やテンプレート文言に注目した研究は多かったが、位置そのものを独立変数として精密に評価した点が新しい。
本研究は実務的な観点からも意義がある。ICLは少ない手間でモデルの振る舞いを誘導できるため、業務利用で頻出するが、現場でテンプレートを適当に運用すると予期しない回答変動が生じる危険性がある。つまり、再現性の担保と運用ルールの整備が不可欠であることを示した。本稿は技術的実証を通じて、導入前の検証工程を企業プロセスに組み込む必要性を浮き彫りにする。
経営層の視点から見れば、この研究は「実装コストをかける価値があるか」を判断するための新たな評価軸を提供する。運用のゆらぎが品質や意思決定に与える影響は無視できない。費用対効果の検討では、デモ配置の標準化にかかる労力と、配置がもたらす誤答リスクの削減効果を天秤にかける必要がある。
以上をまとめると、研究の位置づけはICL運用論の基礎を築くことにある。デモの位置が持つ構造的影響を無視して運用すれば、モデルが学んでいると見せかけた「脆弱な振る舞い」を見落とす危険がある。本研究はその盲点を明示し、実務への橋渡しを行っている。
2. 先行研究との差別化ポイント
従来研究の多くはデモの選定（example selection）やテンプレート文の言い回し（prompt phrasing）に焦点を当てており、どのデモを選ぶか、どのように書くかが性能に与える影響を示してきた。これらは確かに重要であるが、本研究はデモの「位置」という単純だが見過ごされがちな次元を切り出し、同一コンテンツでも配置を変えるだけで性能が大きく変わることを明確に示した点で差別化される。
具体的には、プロンプトを構成する要素を「system」「user」「assistant」などのセクションに分解し、デモをどのセクションの前後に置くかという四つの典型的位置（ssp, esp, sum, eum）を定義して比較した。位置のみを操作変数として固定し、内容や数は一定に保った点が実験設計上の強みである。したがって観測された変動は内容差ではなく構造差によるものと結論づけられる。
また、本研究は多様なタスク群（分類、問答、要約、推論）にわたって評価を行っており、位置の影響が特定タスクに限られないことを示した。これにより、位置バイアスは限定的な現象ではなく汎用的な現象であると示唆された。この点が、先行研究に対する明確な貢献である。
差別化の実務的含意は明確である。従来のガイドラインがデモの選び方やテンプレートのテンプレート化に偏っていたならば、本研究はプロンプトの構造設計（特にデモの置き場）を運用基準に含める必要性を突きつける。運用ルールに位置固定の規定を入れるだけで、結果の安定性が高まる可能性がある。
3. 中核となる技術的要素
本質的な技術用語を整理すると、In-context Learning (ICL、文脈内学習) はモデルへの入力プロンプトに「少数のデモ（demonstrations、見本）」を含めることで推論時に少数ショット学習を実現する手法である。研究はプロンプトを細かく区分し、デモの配置位置のみを操作してモデルの出力に与える影響を測定した。これが技術的なコアである。
実験設計は厳密である。与えられたタスクに対して固定されたデモ群とクエリを用意し、プロンプト内でのデモブロックの位置だけを変えた。さらに、性能指標として正答率（accuracy）と予測の揮発性（prediction flips、予測の反転）を導入し、位置がどのようにこれらに作用するかを定量的に評価した。
重要な発見として、デモがプロンプトの先頭にある配置（sspやesp）が後方に配置するより一貫して高い性能を示す傾向が観測された。これはモデルが入力を先頭から解釈する際の局所的な注意の振る舞いと無関係ではないと推察される。要するに、同じ情報でも先に提示されると影響力が強くなる、ということである。
この技術的示唆は、プロンプト設計のルール化に直結する。具体的には、業務用テンプレートはデモの位置を明示し、バージョン管理と検証手順を必ず伴わせるべきである。これによりモデルの振る舞いの説明可能性と再現性が高まる。
4. 有効性の検証方法と成果
検証手法は多面的であり、分類、質問応答、要約、推論といった複数タスクでの横断的評価を行っている。各タスクで固定デモを用い、四つの典型的配置位置ごとにモデルの正答率変化量（ACCURACY-CHANGE）と予測の反転割合（prediction flips）を計測した。これにより位置依存性の有無とその大きさを比較できる。
主要な成果は二点である。第一に、デモを先頭に置く配置が総じて後方配置より高い性能を示すこと、第二に、位置を変えるだけで最大20パーセント程度の正答率変動と、場合によっては予測の約半数が反転するケースが観測されたことである。これらは単なるノイズではなく、運用上無視できない実効差を示す。
また、結果はデータセットやタスクに依存しつつも一貫した傾向を示しており、位置バイアスは特定モデルや課題に限定されない一般性を持つことが示唆された。したがって、運用手順の整備は全般的なベストプラクティスとして有効である。
この検証は経営判断にも直結する。例えば重要な意思決定支援にLLMを用いる際、位置固定のプロンプトテンプレートの採用は誤答リスク低減に寄与し、結果として意思決定の信頼性向上とコスト削減に貢献する可能性がある。
5. 研究を巡る議論と課題
本研究は位置バイアスの存在を明確に示したが、メカニズムの完全解明には至っていない。モデル内部でどのような注意やトークン依存が働いているのか、あるいは訓練データに由来する偏りがどの程度寄与しているのかは未解決の課題である。つまり、観測された現象は確かだが、その発生理由を断定する段階にはない。
さらに、実装上の課題も残る。業務で複雑なプロンプトを用いる場合、テンプレートの固定化は柔軟性を損なう恐れがある。運用では、テンプレートの固定と改善の両立が求められるため、A/Bテストやモニタリング体制を整備し段階的に最適化するプロセスが必要である。
倫理や説明可能性の観点からも議論が必要である。位置による振る舞いの非直感性は、モデルの出力を説明する際の障壁となる。顧客や監督当局に説明できる形での設計と記録保持が必須になるだろう。つまり、透明性確保の手続きが運用設計に組み込まれるべきである。
以上の点から、今後は位置バイアスの因果解明と、実務での運用ルール設計、説明責任の仕組み作りが主要な研究課題として残る。これらに取り組むことが安全で効果的な導入の前提となる。
6. 今後の調査・学習の方向性
今後の方向性としてまず挙げるべきは、位置バイアスの生成メカニズムの解明である。具体的にはモデルの注意機構や事前学習データの性質がどのように位置感度を生んでいるかを調べる必要がある。これによりより根本的な対策、あるいはモデル側の改善指針が得られるだろう。
次に、産業応用に向けたベストプラクティスの確立が重要である。テンプレートのバージョン管理、配置の固定化、定期的な再評価プロセス、KPI基準の整備といった運用規範を体系化すべきである。これにより企業は導入のリスクを管理しながら効果を検証できるようになる。
最後に、教育とガバナンスの整備が必要である。経営層と現場担当者が位置バイアスの存在と影響を理解し、適切な問い立てと検証を行えるようにするための研修や、説明責任を果たすためのドキュメントテンプレートが求められる。これらが整わなければ、技術的知見が現場で活かされない。
検索に使える英語キーワード
Where to show demos in your prompt, positional bias, DPP bias, in-context learning (ICL), prompt engineering, demonstration placement, prompt positional effects
会議で使えるフレーズ集
「我々はプロンプト内のデモ配置を標準化し、運用設計で再現性を担保します。」
「小規模A/Bテストでデモ位置の影響を評価し、KPIで効果検証を行いましょう。」
「デモの置き場を明文化してバージョン管理することで、品質のばらつきを抑止します。」
K. Cobbina and T. Zhou, “Where to show Demos in Your Prompt: A Positional Bias of In-Context Learning,” arXiv preprint arXiv:2507.22887v1, 2025.
