AIBR プレミアム
拓海先生、最近若手が「好奇心駆動の学習」を持ち上げてましてね。うちの現場にも役立つんでしょうか。要するに彼らが言う「好奇心」って何か、投資に値しますか？
素晴らしい着眼点ですね！好奇心駆動の学習とは、外から与えられる評価（売上やラベル）ではなく、システム自身が自分で学べることに価値を置く仕組みです。大丈夫、一緒にやれば必ずできますよ。
うちの現場は機械と人の関係が中心ですけど、その好奇心って何を基準に動くんです？費用対効果の見積もりはどう立てればいいのか見当がつかないんです。
いい質問です。簡単に言うと三点です。第一にシステムは「自分が予測できなかったこと」に報酬を与え、学習を促します。第二に報酬は外部投資を待たずに継続的に発生し、データ収集のコストを下げます。第三に現場で変化に迅速に対応できる能力を育てますよ。
それは分かりやすい。で、現場の映像やセンサーを使うと聞きましたが、うちみたいに人が多い職場でプライバシーとか複雑な動きがあると、ちゃんと機械が学べるものなんでしょうか。
素晴らしい着眼点ですね！本論文はテレビのシットコム映像のような“社会的場面”を教材に使っています。現場で言えば、スタッフ同士のやり取りや機械と人の相互作用がデータになるということです。プライバシーは匿名化やピクセル単位の処理で対処できますよ。
具体的にはどんな仕組みなんです？難しい専門用語を並べられると余計に分からなくなるんですが。
良い質問です。簡単な比喩で言えば、学習者（learner）は未来の映像を予測する占い師のようなもので、強化学習（Reinforcement Learning、RL）は占い師の予測が外れたときに「もっと学んで」と報酬を与える指導者です。本論文はこの二つを深層畳み込みネットワーク（Convolutional Neural Network、CNN）で構成しています。
なるほど。で、これって要するに現場の映像の“予測が難しい部分”を重点的に学ぶように仕向ける仕組み、ということ？
正確です！要点は三つです。第一に「予測誤差（prediction error）」を内的報酬に使い、学習対象を動的に決めること。第二にピクセル単位で行動を学習するAction-Convolution Deep Q-Networkが未知の領域を見つけること。第三に社会的映像を素材にすることで、人間行動の情報が効率的に学べることです。
実務での導入イメージを教えて下さい。短期の成果が見えないと役員会で説得できません。
心配無用です。まずは限定的な現場でログを取り、好奇心報酬で注目された場面を分析します。それが改善余地のある作業や頻出のヒューマン・マシンインタラクションを示せば、投資対効果（ROI）の試算ができます。大丈夫、一緒にやれば必ずできますよ。
わかりました。要はまず小さく試して、システムが「面白がる」場面を見せてもらって、それが改善に繋がるかを測るということですね。私が役員に説明するときは、その順序で話します。
