RISC-V 64コア上のAIフレームワークのエネルギー消費を探る（Exploring energy consumption of AI frameworks on a 64-core RV64 Server CPU）

田中専務

拓海さん、お忙しいところ失礼します。部下から『AIは電気代も含めて考えないとダメだ』と言われまして。論文で『RISC‑Vでのフレームワーク比較』というのがあると聞いたのですが、要点を教えていただけますか。

AIメンター拓海

素晴らしい着眼点ですね！結論から言うと、この研究は『同じAI推論でも使うフレームワークとライブラリで消費エネルギーが大きく変わる』ことを実証していますよ。具体的にはONNX RuntimeやTensorFlow Lite系が、PyTorchよりも省エネで動くケースが多かったのです。

田中専務

これって要するに、ソフトの選び方で電気代が変わるということですか？うちの工場で同じAIを動かしても、選ぶフレームワークでランニングコストが違うという理解で合っていますか。

AIメンター拓海

その通りです！大丈夫、一緒にやれば必ずできますよ。詳しくは後で整理しますが、ポイントは三つ。第一に処理を速くすることで消費電力の総時間を短くする。第二に使う数値計算ライブラリ（バックエンド）次第で効率が変わる。第三にハード（この論文ではRISC‑V 64コア）に合った最適化が効く、です。

田中専務

なるほど。難しそうですが、要は『速く終わらせる＝電気を食わない』と。ただ、うちの現場では『速いが消費電力が高い』というトレードオフが起きませんか。

AIメンター拓海

いい観点ですよ。確かにピーク電力は上がるが処理時間は短くなる、という事はあり得ます。だから研究では単純にワット数を比較するのではなく、処理あたりのエネルギー（ワット×秒）で評価しているのです。要するに『同じ仕事を終えるためにどれだけ電力資源を使うか』が重要なんです。

田中専務

具体的にはどのフレームワークが良かったのですか。導入判断につながる数字は出ていますか。

AIメンター拓海

はい、数字は出ています。研究ではTensorFlow LiteやONNX Runtimeが総じて省エネで、ONNX Runtimeは同条件で最大約1.6倍少ないエネルギーで済むケースがあったと報告しています。PyTorchは特にMobileNetのような軽量モデルで遅れが目立ち、原因はバックエンドライブラリの違い（XNNPACK対OpenBLAS）にある可能性があります。

田中専務

それは興味深い。現場ではモデルは同じでフレームワークだけ変える提案ができそうです。現実的に我々が取り組むとき、まず何を検証すべきですか。

AIメンター拓海

大丈夫、一緒に進められますよ。まずは現行モデルで代表的な推論処理を一二種類選び、使用予定のハードでフレームワーク別に処理時間とエネルギー（ワット×秒）を測るのが近道です。次に性能差が出る場合は、バックエンドライブラリの差異を確認し、最終的にコスト試算を行う。要点は三つ、実測・原因分析・コスト換算です。

田中専務

分かりました。要するに、現場でまず小さく実測して、費用対効果が合うかを判断する、ということですね。自分の言葉でまとめると、『フレームワークと裏のライブラリ次第で、同じAIでも電気代が変わるから、まず実測して費用対効果を見よう』で合っていますか。