CPU-GPU結合アーキテクチャ上のLLM推論ワークロードの特徴付けと最適化

（Characterizing and Optimizing LLM Inference Workloads on CPU-GPU Coupled Architectures）

田中専務

拓海先生、最近うちの若手が『LLMの推論でサーバー構成を変えるべきだ』と言うのですが、何をどう見れば良いのか皆目見当がつきません。要するに何が問題なんですか？

AIメンター拓海

素晴らしい着眼点ですね！簡単に言うと、AIの推論（inference）は『どこで計算するか』によって値段も速さも変わるんです。それを分かりやすく比較したのが今回の論文ですよ。

田中専務

CPUやGPUという言葉は聞いたことがありますが、最近は『結合が強い／弱い』といった区別が出てきて、何を基準に投資判断すれば良いか見えません。結局どれを買えば費用対効果が高いのですか？

AIメンター拓海

大丈夫、一緒に整理しましょう。まず重要なのはワークロードの性質です。バッチで大量処理するのか、瞬時の応答が必要な低遅延処理かで選ぶべきアーキテクチャが変わるんです。

田中専務

これって要するに、処理を一度にまとめてやるなら結合が強い方が有利で、短い応答をたくさんさばくなら別の観点でCPU性能が効いてくるということですか？

AIメンター拓海

その通りですよ！要点を三つにまとめると、第一にバッチサイズが大きいときはメモリ帯域と高スループットが物を言い、第二に低遅延で小バッチを高速に処理するならCPUのシングルスレッド性能が重要になり、第三にシステム設計でカーネル起動回数やPU（Processing Unit）処理のバランスを最適化すると効果が出ます。

田中専務

うーん、実運用に合わせた判断が必要ということですね。で、現場では具体的に何を計測すれば投資判断に使えるのですか？

AIメンター拓海

良い質問ですね。論文では演算単位ごとのカーネル実行の追跡（operator-to-kernel trace）で、どこがCPUボトルネックかGPUボトルネックかを細かく見ています。これにより、どの構成で待ち時間や無駄が発生しているかが見えるんです。

田中専務

追跡というのは専門部署に任せるしかなさそうですが、経営判断で参考になる指標名はありますか？

AIメンター拓海

論文は新しい指標TKLQTを提示して、PU（Processing Unit）ごとの負荷特性を評価しています。実務的には応答時間とスループット、そしてKernel起動数の3点を押さえれば大きな誤算は減りますよ。

田中専務

分かりました。自分の言葉でまとめると、ワークロードがバッチ向けか低遅延向けかを見極め、Kernel起動やPU利用の無駄を減らす方向で設計すれば投資対効果が上がると。本質はこれで合っていますか？

AIメンター拓海

まさにその通りですよ。素晴らしい整理です。では次回は実際の数値と投資試算を一緒にやりましょう。大丈夫、一緒にやれば必ずできますよ。