AIBR プレミアム
拓海先生、お忙しいところすみません。最近、部下から「クラウドソーシングでラベルを集めれば良い」と言われているのですが、そもそも何人に頼めば良いのか見当がつきません。コストも時間も心配でして。
素晴らしい着眼点ですね！クラウドソーシングで何人に聞くかは、まさに投資対効果の問題です。今日は「必要な人数をその都度決める」研究を分かりやすく説明しますよ。大丈夫、一緒にやれば必ずできますよ。
なるほど。で、その研究って要するに、全部同じ人数に聞くのではなくて、難しい問題には多く、簡単な問題には少なくするということですか？
素晴らしい着眼点ですね！まさにその通りです。ただし重要なのは単純に人数を変えるのではなく、集めた回答を見ながら止め時を決める『ストッピングルール（stopping rule）』という考え方を使う点です。要点を3つにまとめると、1) 動的に人数を決める、2) 回答のばらつきで難易度を推定する、3) 歴史的なワーカー品質を利用する、です。
歴史的なワーカー品質というのは、以前の仕事ぶりでその人の信頼度を点数にしておくという理解で合っていますか？それなら自社の現場で使う時も応用できそうです。
その通りですよ。ワーカーごとに品質スコアを付ければ、その回答の重み付けができます。比喩で言えば、会議で意見を集めるときに、経験豊富な役員の意見を少し重視するようなイメージです。大丈夫、一緒にやれば必ずできますよ。
しかし現場はコストに敏感です。結局は品質と費用のトレードオフになると思うのですが、具体的にはどの程度費用が抑えられるものなのでしょうか。
良い質問ですね。全体像で言えば、固定人数方式と比べて同等の品質を保ちながら、平均コストを下げられる可能性が高いです。要点を3つで言うと、1) 容易なHITは早く終わる、2) 難しいHITは追加して品質を確保する、3) ワーカーの履歴を使えばさらに効率化できる、という流れです。
これって要するに、難易度に応じて人数を動的に調整する仕組みを入れれば、同じ品質でもコストを減らせるということですか？
その通りです！非常に本質を捉えていますよ。実装時にはストッピングルールの設計と、ワーカー品質スコアの算出方法を注意深く決める必要がありますが、会社の意思決定やコスト管理の枠組みとよく噛み合います。大丈夫、一緒にやれば必ずできますよ。
分かりました。まずはパイロットで一部のHITにこの方式を入れて、効果を測ってみることにします。要点を自分の言葉で整理すると、難易度に応じて聞く人数を決め、ワーカーの過去の品質を活用すれば、同品質でコストを下げられる、ということで合っていますか。
完璧なまとめです、その理解で進めましょう！会議での説明用スライドも一緒に作りますから、安心してください。大丈夫、一緒にやれば必ずできますよ。
