分散SLIDE:低帯域・簡易CPUクラスタ上での大規模ニューラルネットワーク学習の実現(Distributed SLIDE: Enabling Training Large Neural Networks on Low Bandwidth and Simple CPU-Clusters via Model Parallelism and Sparsity)

田中専務

拓海さん、最近うちの部下が「クラウドの未使用リソースを使ってAIを走らせればコストが下がる」と言い出しておりまして、正直ピンと来ないのですが、本当に現実的な話でしょうか。

AIメンター拓海

素晴らしい着眼点ですね!大丈夫、一緒に整理しましょう。要点は三つで、まず既にある安価なCPU資源を活かす発想、次に通信量を劇的に減らす工夫、そしてそれを実装するためのアルゴリズム設計です。これらが揃えば投資対効果は大きく改善できますよ。

田中専務

それはありがたいです。ただ現場の現実は、うちのサーバーは古い小さなCPUが多く、ネット回線も細く、導入コストを掛けたくないんです。そういう環境で大きなモデルが本当に学習できるのですか。

AIメンター拓海

はい、論文の主張はまさにそこです。SLIDE(SLIDE)という

AIBRプレミアム

関連する記事

AI Business Reviewをもっと見る

今すぐ購読し、続きを読んで、すべてのアーカイブにアクセスしましょう。

続きを読む