AIBR プレミアム
拓海先生、最近部下から「クラウドワーカーで教師データを取って学習すればいい」と言われたのですが、うちの現場ではラベルの誤りが多くて心配です。論文で何か良い方法はありますか。
素晴らしい着眼点ですね！今回扱う論文は、クラウドソーシングで集めたラベルに分類ノイズ（classification noise）が混ざっていても、効率的に学習できる仕組みを示していますよ。大丈夫、一緒に要点を3つに整理していきますね。
ええと、まず「分類ノイズがある」というのは、要するにワーカーごとに間違う確率が違うということですか。それならうちの外注さんも当てはまりそうです。
そのとおりですよ。ここでのポイントは三段階の実務プロセスです。まず小さなデータで多数決（majority voting）を取り、次に良いワーカーを見つけるためにバンディット（multi-armed bandit）型の探索を行い、最後にノイズ付きの学習（noisy-PAC learning）でモデルを作るんです。
これって要するに、最初に正解をある程度確かなデータで固めて、その後は信頼できる人に仕事を任せてコストを下げる、という流れですか？
その理解で本質を突いていますよ。要点を3つでまとめると、1. 小規模で高信頼のラベルを作る、2. 良いワーカーを効率的に見つける、3. 見つけた人のラベルでノイズを許容して学習する、です。これにより全体のタスク数、つまり支払うコストを減らせるんです。
実務でありがちな懸念として、ワーカーの半分が適当だったら意味がないのではないか、という点があります。そうした場合でも本当に学習は回るのですか。
論文は、ある程度の割合のワーカーが一貫して真面目（persistent classification noise model）であれば学習可能だと示しています。つまり全員が悪いわけではなく、一定比率以上で良質なワーカーが存在すれば、理論的な保証を得られるのです。現場ではこの前提が満たせるかが鍵になりますよ。
わかりました。現場で出来ることは、まず少量で正確なラベルを作ること、次にワーカーを評価し信頼できる人に任せること、という理解でいいですか。自分の言葉で説明するとこういうことですね。
