視覚と言語モデルのテスト時ゼロショット一般化について: 本当にプロンプト学習が必要なのか？

（On the test-time zero-shot generalization of vision-language models: Do we really need prompt learning?）

ケントくん

今日は博士と何について話すんだっけ？

マカセロ博士

今日は視覚と言語モデルのテスト時ゼロショット一般化について話すのじゃ。この論文は、プロンプト学習が本当に必要かどうかを検証しているんじゃよ。

ケントくん

ゼロショットってなんだっけ？

マカセロ博士

ゼロショットというのは、モデルが一度も学習していないタスクやデータに対して即座に適用できる能力のことじゃよ。視覚と言語モデルでは、画像とテキストの理解の向上に役立つのじゃ。

ケントくん

そうか！じゃあプロンプト学習って何なの？

マカセロ博士

プロンプト学習というのは、入力データを特定のフォーマットやスタイルに修正してモデルの性能を向上させる手法じゃよ。この論文では、それが視覚と言語モデルに必要かどうかを調べているんじゃ。

視覚と言語モデルの訓練とテストは、多くの場合、テキストと画像のペアを使用します。これらのモデルは、事前に定義されたプロンプトを用いずにゼロショット一般化を行うことで、新しいタスクに適応する能力を持つとされています。しかし、本論文は、実験を通じてゼロショットでの一般化能力を強化するためにプロンプト学習が実際に必要かどうかを追加で調査しています。

著者はさまざまな視覚と言語モデルを分析し、プロンプト学習がゼロショット性能に大きな影響を与えない場面を特定しました。すなわち、プロンプト学習なしでも、適切に汎化できるモデルのケースが存在するのです。これにより、プロンプト学習が必ずしも全てのゼロショットタスクに有効でないことを示唆しています。従って、プロンプト学習の負担を軽減し、新たなタスクへの対応を容易にする可能性があるのです。

引用情報: 著者名, “On the test-time zero-shot generalization of vision-language models: Do we really need prompt learning?”, 出版年