AIBR プレミアム
拓海先生、最近部下から『画像検索の結果が偏っている』と報告を受けまして、そもそも何が問題になるのか教えていただけますか。
素晴らしい着眼点ですね！簡単に言うと、検索キーワードが中立でも、出てくる画像の「性別や人種の割合」が偏ることがあるんです。これは社会的に問題があるだけでなく、ビジネスの信頼にも影響しますよ。
それはまずいですね。では、その偏りはモデルの学習のせいだけですか。それとも現場の画像データの偏りも関係しますか。
良い質問ですね。両方が関係します。モデルの訓練時のバイアスもありますが、重要なのはテスト時点、つまり実際に検索をかける時の画像集合（テストセット）の偏りが結果に大きく影響することです。
テスト時の画像集合ですか。要するに運用している写真群の偏りが結果を左右するということですか。
まさにその通りですよ。そこで今回紹介するのは、既存の大きな画像と言語を結びつけるモデルの出力を後処理で調整する方法です。専門用語で言うとPost-hoc Bias Mitigation（PBM）という手法です。
後処理で調整する、というのは現場でできそうでありがたいですね。ただ精度が落ちたりしませんか。投資対効果が気になります。
安心してください。PBMはモデルを再訓練する代わりに検索結果の選び直しを行うため、既存モデルをそのまま使いつつバイアスを小さくできます。要点は三つです。まず既存モデルを変えず導入しやすい。次に公平性を高めつつ実用上の検索性能を維持できる。最後に他の情報検索にも応用可能です。
技術の詳細はともかく、現場で使う場合に必要な情報や工程は何でしょうか。特別なデータを取らねばならないのか知りたいです。
導入に必要なのは、検索対象の画像群（テストセット）について性別や人種の属性を推定できる情報だけです。その情報は外部の既製の分類器（off-the-shelf classifier）や、ゼロショットで事前学習済みの視覚言語モデルから推定できます。特別に大規模なラベル付けは不要です。
なるほど。ゼロショットというのは聞いたことがありますが、要するに『訓練していない問いにもある程度答えられる機能』という理解で合っていますか。
その理解で合っていますよ。簡単に言うと、既に大量の画像と言語で学習した大きなモデルは、新しい問いに対してもラベルなしで属性を推定できる場合があるのです。PBMはそうした推定を使って、候補画像集合を公平になるように再構成します。
これって要するに、検索結果を後から『性別や人種のバランスを考えて並べ直す』ということ？現場でよく使う言葉で言えばフェアネスの調整、ということですか。
その通りですよ！上手な表現です。PBMは基本的に『後処理でフェアネスを作る（公平に見えるように結果を選ぶ）』アプローチです。現場のデータ分布に応じて調整できるので、柔軟性も高いんです。
運用で気をつける点や限界はありますか。例えば、属性推定が間違っていたらどうなるのか不安です。
良い観点です。限界としては三つあります。一つは属性推定の誤分類があると調整が完全ではないこと、二つ目は過度にバランスを取ると検索の関連性（ユーティリティ）が落ちるリスク、三つ目は属性そのものの取り扱いが倫理的に微妙な場合があることです。だから実務ではモニタリングと段階的導入が重要です。
わかりました。最後に、私の立場で経営会議にかけるときに使える短い説明を教えてください。部下に伝えるために端的な言葉が欲しいです。
大丈夫、一緒にやれば必ずできますよ。短くまとめるなら『既存の検索モデルを変えずに、出力を公平に再構成する後処理で偏りを減らす手法です。導入コストが低く、効果は実証済みです』と伝えるとわかりやすいです。
ありがとうございます。では私の言葉で整理します。今回の論文は、運用中の画像群の偏りを認識して、検索結果を後からバランス良く並べ直す手法を示しており、モデルの作り直しをせずに公平性を高める実務的な道具である、という理解でよろしいですか。
