AIBR プレミアム
拓海先生、最近部下が「実データの記録だけでロボットを覚えさせられる」みたいな話をしてまして、ちょっと怖くなっているのですが、本当にそんなことが可能なのですか。
素晴らしい着眼点ですね！大丈夫ですよ、要点を3つでお伝えしますと、まずは人の動きを真似る「模倣学習」があり、次にプログラムで表現することで解釈しやすくする方法、最後にデータのラベルが無い場合やノイズがある場合に確率的に扱う手法があるんですよ。
うーん、ラベルが無いというのは、現場で誰が何をしたかの記録が無いということでしょうか。うちの工場でも動画だけ溜めているが、いつどのボタンを押したかまで記録していないのです。
その通りです。記録が状態のみで行動（アクション）のラベルがない場合、何を学ばせるかが隠れ変数になります。そこでEMという手法で行動の推定と方針の学習を交互に行うと、両方を同時に改善できるんです。
EMというのは何ですか。難しそうですが、投資対効果の観点でどれくらい手間が掛かるのかも気になります。
EMはExpectation-Maximizationの略で、期待値の計算と最適化を交互に行う反復法です。身近な比喩で言えば、薄暗い倉庫で商品の位置（行動）を推測しながら最もらしい配置図（方針）を改良していくようなものですよ。投資対効果は、既存の記録を活かせばデータ収集コストを大幅に下げられる可能性があるんです。
なるほど。でも、うちの現場のデモは結構ばらつきがあります。熟練者がやるときと新人がやるときで様子が違うのです。これって要するに学習データが汚れているということですか？
その通りですよ。ノイズとは正しくない手順や揺らぎのことです。ここで大事なのは、完全に消すのではなく確率的に取り扱うことです。確率的プログラムとして方針を表現すると、どのくらいその行動を信じるかを数値で扱えるため、ばらつきをうまく吸収できます。
なるほど、確率で表すと現場のばらつきを許容できるというわけですね。それで、導入するときに技術者がいないと無理という話になったりしませんか。
大丈夫ですよ。一緒にやれば必ずできますよ。プログラム的な出力は人が読みやすく、現場での微修正やルールの追加がやりやすいです。まずは小さなラインで試験運用して、現場の担当者と一緒にチューニングしていけば導入負荷は抑えられます。
なるほど。これって要するに、ラベルのない現場データとノイズをうまく扱って、人が直せる形式でロボットの動きを作るということですか。
その通りですよ。要点を3つにまとめますと、1) ラベル無しのデータから行動を推定できる、2) 確率的な方針でノイズを扱える、3) プログラム表現で解釈や修正が容易である、ということです。大丈夫、一緒にやれば必ずできますよ。
わかりました。では一度、現場のログを持って拓海先生に相談させてください。要点は私の言葉で言い直すと、ラベル無しでも学習可能で、ノイズを確率的に扱って、人が読めるプログラムで結果を出せるということで間違いないですね。
