AIBR プレミアム
拓海先生、最近部下が『公平性の評価をやるべきだ』と言い出しまして、でも何をどう比べれば良いのか皆目見当がつきません。今回の論文は何を示しているのでしょうか。
素晴らしい着眼点ですね！この論文は『絶対的に公平かを決めるよりも、二つの判断結果を比べて相対的な公平さを評価する』という発想を提示していますよ。簡単に言うと、A社の判断とB社の判断を比べたときに、性別や人種などの要素が結果の違いに影響しているかを調べるということです。
なるほど。でもそれは従来の公平性議論と何が違うのですか。うちの現場で言えば採用の合否をどう見るかと関連しますか。
良い質問です。従来の代表的な公平性概念には、例えば『separation（分離性）』や『sufficiency（十分性）』がありますが、これらは基準となる正解（reference set）をどう置くかで評価が変わります。今回の差分公平性（Differential Parity）は、どちらを基準に選ぶかで結果が左右されにくく、二つの決定集合の差分が敏感属性から独立であるかを直接検定します。
これって要するに、ある判断が別の判断と比べて不当にある属性を優遇または冷遇しているかを見つけるということ？
その通りです！簡単に言えば相対評価の視点で、差分が性別などの属性によって説明できるかを見ます。要点は三つあります。1つめ、絶対的な正解を定義しなくて良い。2つめ、どちらがどの属性に偏っているかを明示できる。3つめ、異なるデータで作られた判断同士は機械学習モデルで橋渡しできるという点です。
ただ一つ気になるのは、比較する二つの判断が同じデータ上でなければならないという制約がある点です。それは現場で使うときに困るのではないですか。
まさに論文でもその点を挙げていて、解決策として機械学習モデルを使って異なるデータに橋渡しする方法を提案しています。言い換えれば、直接比較できないときは予測器で判断傾向を推定して差分を評価するのです。それが出来れば運用上の制約はかなり緩和されますよ。
投資対効果の観点で言うと、我々はまずどこから手を付ければ良いですか。現場への導入コストや説明責任が心配です。
