AIBR プレミアム
拓海さん、最近部下から「生成系AIの評価を見直すべきだ」と言われまして。要するに評価の話ですね、どこをどう見ればいいのか見当がつかないのですが。
素晴らしい着眼点ですね！大丈夫、生成系AIの評価は一見ややこしいですが、要点は実はシンプルです。品質（quality）と多様性（diversity）の両方を同時に見る方法が肝心ですよ。
品質は人に見せれば分かる。でも部下は「人だけでは足りない」と。これって要するに人間の目だけだと不正確だということですか？
その通りですよ。人（human）評価は品質を見るのに強いが、モデルが訓練データを丸写ししているといった「多様性の欠如」を見落としがちです。逆に統計的評価、例えば困難度を示すperplexity（パープレキシティ、PPL）は多様性を見るが、たまに質の低い文を混ぜても罰が弱いのです。
なるほど。両方のいいところを取るということですね。でも現場の時間も限られている。実務上、どこまで使える指標なんですか？
大丈夫、一緒にやれば必ずできますよ。論文の提案するHUSE（Human Unified with Statistical Evaluation）は、人の判定を使いつつモデルの確率情報を組み合わせて、どれだけ「人とモデルを区別できるか」の誤判定率を測る手法です。実務では人手の評価を効率化しつつ多様性も検出できますよ。
ちょっと具体例をお願いできますか。現場では「却って手間が増える」のを最も避けたいのです。
まず要点を3つにまとめますね。1つ目は、人の判定で得た「この文は人が書いたか」を使って参照分布を推定すること。2つ目は、モデルがその文をどれだけ『出しやすい』かを確率で評価すること。3つ目は、この二つを2次元空間に置いて近傍法で判定精度を測ることです。実装は既存の評価データとモデル確率があれば組めますよ。
それは要するに、人の判定とモデルの出力確率を掛け合わせて、機械と人の区別がどれだけ難しいかを数値にする、ということですか？
その通りです！その数値をHUSEと呼びます。良い点は、これが多様性の欠如（訓練データの丸写し）も検出できる点で、単に人の好みだけで測るより実践的です。導入の第一歩は既存の人評価を少し拡張するだけで済みますよ。
分かりました。まずは既存の評価データとモデルの確率を持ってきて試してみます。自分の言葉で言えば、品質と多様性を同時に見る効率的な指標、という理解でよろしいですか。
素晴らしい着眼点ですね！その理解で合っていますよ。大丈夫、一緒にセットアップして、会議で説明できる資料まで作りますから安心してください。
