AIBR プレミアム
拓海先生、最近「プロンプトの形式で結果が変わる」という話をちらっと聞いたのですが、要するに何が問題なのですか。うちの工場に何か関係ありますか。
素晴らしい着眼点ですね！ 簡単に言うと、AIに仕事を頼むときの「指示書」の書き方で、成績が大きく変わるんですよ。具体的には、同じ例を与えても書式や並べ方を変えるだけで、モデルの判断がばらついてしまうんです。
それは困りますね。うちのように現場データを少しだけ渡して判断させるような使い方だと、信頼できない結果になりかねないということでしょうか。
その通りです。ここで言うのはIn-Context Learning（ICL、文脈内学習）という使い方で、モデルに少数の例を示して新しい仕事を教える手法です。しかし提示の仕方、すなわちプロンプトテンプレートによって性能が大きく左右されるという問題があるんですよ。
じゃあ、良いテンプレートを見つければ安定するんですか。テンプレートというのは、具体的にどんな違いがあるのですか。
良い質問ですね。テンプレートとは例の並べ方、ラベルの置き方、質問文の書き方など全体の書式のことです。例えばラベルを先に書くか後に書くか、区切り文字を何にするかで、同じAIでも結果が変わります。要点は三つ、認識の揺らぎ、非転送性、対処法の提示です。
非転送性という言葉が気になります。うちが見つけた良いテンプレートを別の部署で使ってもうまくいかない、ということですか。これって要するに、テンプレートは状況依存だということ？
まさにその通りです！素晴らしい着眼点ですね！テンプレートの最良解はモデルの種類、与える例の数、選び方（example selection）や推論方法によって変わり、ある場面で最適だった形式が別の場面では悪影響を及ぼすことがあるんです。だから一つの万能テンプレートは期待できないんですよ。
では現場で使える現実的な対策はありますか。テンプレートを毎回試すのは時間と費用がかかりますから、そこで投資対効果を考えたいのです。
安心してください。ここでも要点は三つです。まず、複数のテンプレートで予測を集約するTemplate Ensembles（テンプレートアンサンブル）という方法が有効です。次に、テンプレート評価を小規模で自動化して最悪の崩壊を避ける運用を組むこと、最後にモデルや推論法に応じたテンプレートの簡易ルールを定めることです。
なるほど。それなら最初は小さく試して効果が見えたら広げる、という段階踏みができそうです。実務的にはテンプレートを何個くらい用意すればいいのですか。
実務的な目安としては5〜10個程度の多様なテンプレートを試してアンサンブルするのが効果的です。重要なのは多様性で、似たものばかり集めるよりも、ラベル表記や区切り方が異なるテンプレートを混ぜるとロバスト性が上がります。大丈夫、一緒にやれば必ずできますよ。
よくわかりました。要するに、プロンプトの書き方でAIの判断が変わるので、テンプレートを複数用意して結果をまとめ、少しずつ運用で安定させるのが現実的だと理解しました。
