AIBR プレミアム
拓海先生、お忙しいところ失礼します。部署から『マルチモーダルの解析で最新の手法を使えば顧客理解が深まる』と言われまして、何をどう更新すべきか見当がつきません。要するに、どこが変わるんでしょうか？
素晴らしい着眼点ですね！大丈夫、一緒に整理すれば必ずわかりますよ。結論を先に言うと、この論文は『異なる速度で取得される音声・映像・テキストを無理に時系列で揃えず、グラフとカプセルで並列に統合する』という点で現場の実装負荷と解釈性を両立できる可能性があるんです。
並列で統合、ですか。現場では音声は細かく、映像は粗い、とかよくある話です。これって要するに、データを無理に時間で合わせなくてもいい、ということですか？
はい、そのとおりです。さらに言えば従来のRNN（Recurrent Neural Network、リカレントニューラルネットワーク）に頼ると長期依存性を学びにくく、勾配問題で学習が不安定になりやすい。そこで本論文はまず時系列をグラフに変換し、カプセルネットワーク（Capsule Network、カプセルネットワーク）の集約力で各ノードが全時刻の情報を吸収する仕組みを作っています。
現場のIT担当が『揃えるのが大変』と言っていたのは事実です。投資対効果で言うと、導入で何が減るか、何が増えるかを教えてください。現場工数ですか、それとも精度ですか？
なるほど、名刺交換で必要な相手に情報が渡るイメージですね。これって要するに、手作業で揃えるコストを機械側が吸収してくれる、という理解で合っていますか？
分かりました。最後に私の理解を言いますと、『本論文は時系列を無理に揃えず、グラフとカプセルで情報を並列に集約することで現場負担を下げ、長期依存を捉えやすくして解釈性を高める手法を示している』ということですね。これで社内説明ができそうです。
監修者
阪上雅昭（SAKAGAMI Masa-aki）
京都大学 人間・環境学研究科 名誉教授
論文研究シリーズ
AI技術革新 - 人気記事
PCも苦手だった私が
