拓海先生、最近うちの若手が『CPUに行列演算の専用ユニットを入れよう』と言うのですが、正直イメージが湧きません。今回の論文は何を示しているのですか？
素晴らしい着眼点ですね！今回の論文はRASAという、CPUの中に組み込むシストリックアレイ（systolic array (SA)（シストリックアレイ））を効率よく動かす設計を提案しているんです。要点を後で3つにまとめますよ。
シストリックアレイ自体は加速器でよく聞きますが、CPUに入れるのは何が難しいのですか。投資対効果の観点で教えてください。
良い質問です。ポイントは3つあります。まず、CPU内のレジスタ（register、レジスタ）はサイズが限られており、配列を満たすデータを準備するのに時間がかかるため、動作の無駄が出ること。次に、CPUは割り込みや例外に対応する必要があり、メモリから直接流し込む簡単な手は使いにくいこと。最後に、専用アクセラレータと違い、CPUは汎用性も担保しなければならないため面積と電力のトレードオフが厳しいことです。
これって要するに、レジスタが小さいから行列演算ユニットが『満員電車のホームで停まっている』状態になって効率が下がるということですか？
その比喩は的確ですよ！要するに列車（シストリックアレイ）を走らせるのに乗客（データ）をホーム（レジスタ）で準備しきれないため、走り始めや止まり際の無駄が大きくなるのです。RASAはこの無駄を減らすために実行を細分化して重ね合わせる仕組みを導入します。
なるほど。実務で言うと、工程を細かく分けてラインの無駄を減らすような手法なのですね。具体的には何を変えると効率が上がるのですか。
具体策は大きく二つ、RASA-ControlとRASA-Dataです。RASA-Controlは命令のパイプラインとバイパスを工夫して制御的な待ち時間を減らすもので、RASA-Dataは各処理素子のマイクロアーキテクチャを変えてデータの流れ自体を改善するものです。実装ではまずControl側の変更だけで約30.9%の実行時間短縮を示しています。
30%は大きいですね。両方入れるとどれくらい良くなるのですか。投資に見合う改善でしょうか。
良いところに目をつけました。論文ではControlとDataを併用すると約79.2%の実行時間改善を報告しています。面積増加は0.847mm2で、CPU全体予算の中でどの程度を割けるかが判断基準になります。要点は三つ、1) レジスタ制約が主因、2) 制御とデータの両面で最適化可能、3) 実装上の面積と電力のトレードオフを検討すべき、です。
分かりました、ありがとうございます。自分の言葉でまとめると、RASAはCPU内で行列演算ユニットを効率よく使うために『実行を小分けにして重ね合わせる』ことで無駄時間を削り、制御とデータの両面で改良することで大幅に高速化する、ということですね。これなら社内会議でも説明できます。
