AIBR プレミアム
拓海さん、最近部下から「PU学習ってすごいらしい」と聞いたのですが、正直ピンときません。何をする手法なんでしょうか。
素晴らしい着眼点ですね！PU学習とは、正例（Positive）だけラベルが付いていて、残りはラベルなし（Unlabeled）という状況で学習する手法です。営業で言えば成約事例だけ分かっていて、その他多数の見込み顧客は属性だけしか知らない状況に似ていますよ。
なるほど。で、今回の論文は何を新しくしているのですか。現場に導入する価値はありますか。
大丈夫、一緒に見ていけば必ずわかりますよ。結論から言うと、この論文は「未ラベル（Unlabeled）データの中から、モデルの訓練時に損失が大きいものを正例（Positive）とみなして追加する」という発想を提案しています。要点は三つ、直感、偏りの扱い方、深層ネットワークの性質の活用です。
損失が大きいものを正例にする、ですか。それは直感に反している気がします。普通は損失が小さいものを信用するのではないですか。
素晴らしい着眼点ですね！確かに一般的な自己学習やノイズラベル対策では小さい損失を信頼してラベルを付けます。しかし深層モデルには「記憶（memorization）」という性質があり、容易に学べる負例を先に覚え、正例であるが珍しいものや特徴が違うものは訓練で大きな損失のまま残ることがあります。そこで大きな損失のものを正例候補と見る逆転の発想です。
これって要するにUの中から“本当に正例っぽいもの”を見つけて増やすということ？
その通りですよ。端的に言えば、未ラベルの山から正例の種を取ってくるのです。ただし取り方は慎重で、取り出した正例は偏りを持つため、学習時にその偏りを補正する目的の新しい目的関数を設計しています。つまり選ぶことと使い方の両方が重要になるんです。
偏りを持ったデータをそのまま学習に入れたら危ないのでは。現場への導入で一番気になるのはそういう点です。運用コストに見合う精度改善が得られるのか教えてください。
大丈夫、一緒にやれば必ずできますよ。研究では、選択された追加正例の偏りを数学的に扱う損失設計を行い、実験的に既存の重要度再重み付け（importance reweighting）手法より良い結果を示しています。要点は三つ、扱うべきは「何を選ぶか」「どう選ぶか」「選んだ後どう使うか」です。
なるほど。現場で言うと「良い見込み客を抽出して営業リストに恒久的に追加する」ようなイメージですね。最後に私の言葉で確認させてください。今回の論文は「深層モデルの覚え方の偏りを利用して、未ラベルから正例を選び出し、偏りを補正する新しい学習方法を提示した」という理解でよろしいですか。
素晴らしいまとめですね！その理解で間違いありません。導入を考える際はまず小さなデータセットで選択基準の閾値や偏り補正の効果を検証するとよいですよ。大丈夫、やればできます。
