拓海先生、最近うちの部下が「AIの公平性を検証するにはキャリブレーションを見るべきだ」と言い出して、正直何を見ればいいのか分からないんです。要するに何を気にすれば良いのでしょうか？
素晴らしい着眼点ですね！まず結論だけ先にお伝えします。AIの出力が確率として使えるかどうか、つまり不確実性を正しく表しているかを確認しないと、現場での使い方が間違った投資と運用を招く可能性が高いんですよ。
なるほど。不確実性、ですか。で、それをどうやって確かめるんです？なんだか専門的な話になりそうで怖いのですが、現場で実務判断に使える形で教えてください。
大丈夫、一緒にやれば必ずできますよ。簡単に言うと三点を見れば良いです。1) 出力が確率として意味を持つか、2) サブグループごとにその確率のずれはないか、3) サンプル数の違いが指標に影響していないか、です。
三点、承知しました。ただ部下が言うには「ディスクリミネーション（差別化）を測るAUCや精度（Accuracy）とは違う指標だ」と言うんですが、差はどこにありますか？
素晴らしい指摘ですね！説明はこうです。AUC（Area Under the Curve; AUC、曲線下面積）やAccuracy（精度）は”区別できるか”を見る指標であり、Calibration（検証・校正）は”提示する確率が実際の発生率に一致するか”を見る指標です。区別はできても、確率が信用できないと意思決定で困りますよね。
これって要するに、AIのスコアが高くても「その確率を信じて良いか」は別物ということですか？たとえば80%と言われても実際には60%しか当たらない、という話ですか？
その通りです！素晴らしい理解です。臨床の現場で複数の情報を組み合わせる際、確率をどう重みづけするかが重要になります。確率が正しくないと、最も確からしい判断が変わってしまいます。
実務に落とし込むと、具体的にどのような評価で問題を見つければ良いですか。サブグループごとの評価というのは、たとえば年齢とか性別でしょうか。
その通りです。年齢、性別、人種、撮影条件などがサブグループになります。ただ重要なのはサンプルサイズです。サブグループによってデータが極端に少ないと、キャリブレーション指標自体が偏ることがあります。そこを見落とすと誤った公平性判断をしてしまいます。
なるほど、サンプル数の影響。うちでも少数しかない顧客層があるので、そこで誤判断するとまずいですね。じゃあ対策はどうするのが現実的ですか？
優先順位を三つに絞れば実行しやすいですよ。第一に、評価時にサンプルサイズを明示して不確かさを伝えること。第二に、必要ならば再キャリブレーションを行うこと。第三に、判断支援として確率に閾値ではなくレンジや不確かさを付与することです。これで運用リスクが大きく下がります。
よく分かりました。要するに、出力の確率をそのまま使うのは危険で、サブグループごとのサンプル数と不確かさを踏まえて評価・運用する必要がある、ということですね。ありがとうございます、勉強になりました。
