拓海先生、最近若手から「エッジでAIを動かすならハードを変えるべきだ」と言われて困っております。要するに我が社のような現場向け組み込み機器にもAIを載せられる、という話でしょうか。
素晴らしい着眼点ですね！大丈夫、分かりやすくお話ししますよ。結論から言うと、この論文は「モデルの種類ごとに必要な命令を自動で設計して、軽量機器でAI推論を高速化する」仕組みを提示していますよ。
それは具体的にどうするのですか。私が心配なのは、導入コストと現場での保守です。新しいチップやOSを入れる余裕はありません。
ご安心ください。要点を3つにまとめますよ。1つ目は、既存のRISC-V命令セットに”拡張命令”を追加して性能を上げる点、2つ目はモデルの特性を解析してその拡張を自動生成する点、3つ目はOSに依存せずにベアメタルで動かす点です。
これって要するに、モデルごとに最適化した命令を自動で作って、古い組み込み機器でも速く動かせるようにするということですか？
はい、その理解で正しいですよ。もう少し噛み砕くと、Pythonで書かれたニューラルネットの構造を解析して、重く計算する部分を特定し、その処理を速くできる命令をハードに組み込むのです。それを自動化している点が新しいんですよ。
自動化されると助かりますが、実務で気になるのは「どれだけ速くなるか」と「開発にどれだけ手間と金がかかるか」です。投資対効果の観点で教えてください。
論文の評価では最大で推論速度が2倍、エネルギーコストはモデルによって大幅に削減されていますよ。手間の部分は自動化フローがカバーするので、モデルごとのプロファイリングとFPGAやASIC実装の工程が必要になりますが、再現性を高めることでトータルの工数を抑えられますよ。
現場ではOSが入っていない素の機械で動かすことが多いのですが、本当にOSなしで動くのでしょうか。サポート面で不安なのですが。
重要な点ですね。MARVELはベアメタル、すなわちOS無しの環境を想定しています。要するに、追加した命令で単純なCコードが高速に動くように変換するので、既存の機器でもソフトの置き換えだけで恩恵を受けられる可能性がありますよ。
なるほど。まとめますと、モデル解析→命令生成→既存機器への組み込み、で性能が上がるということですね。自分の言葉で言うと、モデルごとに“効率の良い仕事のやり方”をチップに教えるようなもの、という理解でよろしいですか。
はい、その比喩は非常に良いですよ。大丈夫、一緒に細かい導入計画を立てれば必ずできますよ。次に、論文の要点をもう少し整理して本文で解説しますね。
