拓海先生、最近部下が「AIアクセラレータをチェックするべき」と言うのですが、何を見れば良いのかさっぱりでして。要するに、どれを買えば効果が出るのか知りたいのです。
素晴らしい着眼点ですね！大丈夫、整理すれば選び方はシンプルになりますよ。今日はLincoln AI Computing Survey（LAICS）の最新アップデートを元に、何を見ればよいかを3つの要点で整理しますね。
3つの要点、ですか。具体的には何を基準にすれば良いのでしょうか。電力とか性能とか、現場では判断が難しくて。
良い質問ですね。要点は、1) 性能対電力のバランス、2) 対象モデルの規模（推論か学習か）、3) 実運用での接続性と拡張性、の三つです。まず性能対電力は、グラフで見える「どれだけ仕事をしてくれるか」に直結しますよ。
なるほど、でも現場だと機器を並べて高速ネットワークで繋ぐこともある。大きなモデルを学習させるなら別の考え方が要りますか？これって要するに、大きなモデルはたくさんつなげばよいということですか？
素晴らしい着眼点ですね！要するにその通りです。ただしポイントは3点あります。第一に、大きなモデルは多数のアクセラレータを同期して動かすためネットワーク帯域と遅延が支配的になります。第二に、学習用アクセラレータは推論用と設計が異なる場合があり、電力と性能の効率が違います。第三に、現場では運用コストや冷却などの現実的要素も総合判断する必要があります。
運用コストや冷却まで見るとは、設備投資以前の判断が重要ということですね。実際の調査や比較はどうやって行えば良いですか、公開資料だけで十分ですか。
公開資料でかなりの指標は得られます。LAICSは公開されているピーク性能とピーク消費電力を集めて散布図にまとめ、市場セグメント別にズームして比較する手法をとっています。部長会での判断なら、この散布図を基に「性能/電力の位置」を確認するのが実務的です。
なるほど。では、我々のような中小規模の用途では、やはり省電力のものを選ぶ方が良いのでしょうか。投資対効果の観点からのアドバイスをお願いします。
素晴らしい着眼点ですね！投資対効果を考える際の3つの実務ポイントは、1) 現行ワークロードの精度と処理量を測る、2) その処理をどの頻度で行うかで年間稼働時間を見積もる、3) 電力や冷却の追加費用を含めた総コストを比較する、です。これをやれば高価な上位クラスを買うべきかどうか判断できますよ。
具体的で助かります。最後に、技術動向としてこれから注目すべき点はありますか。将来の拡張性を見越して買うべきか迷っております。
良い視点ですね。LAICSの更新から見ると、注目点は三つです。第一に、エッジ向けの超低消費電力アクセラレータが増えていること。第二に、学習（training）向けに多コアや高速ネットワークを前提とした設計が増えていること。第三に、PIM（Processing-in-Memory、メモリ内演算）やデータフロー設計など多様なアーキテクチャが併存していることです。将来を見越すなら、まずは自社の利用パターンに対して最適なアーキテクチャを選ぶことが先決です。
分かりました。自分の言葉で整理すると、「まず現況の処理量と頻度を見て、性能対電力の位置を散布図で確認し、学習用か推論用かでアーキテクチャを分ける」ということですね。
その通りですよ。大丈夫、一緒にやれば必ずできますよ。次回は実際の散布図を使って御社の要件に合う候補を3つ提示しますね。
