FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs(FusionAI:多数のコンシューマ向けGPUによるLLMの分散学習と展開)

田中専務

拓海先生、最近若手が「データセンターを使わずに大量のPCで大きなAIを動かせる」って騒いでいるんですが、要するに我が社の古い社内GPUでも大規模言語モデル(LLM)を使えるようになるという話ですか?

AIメンター拓海

素晴らしい着眼点ですね!大まかにはその通りです。論文は多数の一般的な消費者向けGPUを協調させ、データセンターを頼らずに大きな言語モデルを学習・展開する仕組みを提案していますよ。

田中専務

ですが消費者向けGPUは性能やメモリ、通信がばらばらでしょう。うちの現場PCを繋いで現場で学習なんて現実的ですか?投資対効果が心配でして。

AIメンター拓海

大丈夫、一緒に考えれば必ずできますよ。論文は三つの要点で攻めています。第一に多様な性能の機器が協調できる仕組み、第二に中断や参加退出が多い環境で安定して学習できる耐障害性、第三に通信の負荷を下げる工夫です。

田中専務

これって要するに、デスクに置いた複数のゲーミングPCをまとめて一つの大きな計算機のように動かすソフトを作った、ということですか?

AIメンター拓海

そうですよ。身近な比喩を使えば、複数の工場のラインをバラバラに動かす代わりに、中央の工程表を配ってそれぞれのラインが得意な作業だけを担い、全体で一台分の高性能ラインを作るイメージです。

田中専務

現場のPCが途中でシャットダウンしたりネットが遅くなったら終わりになりませんか。うちの現場は昼休みに電源落とす人もいますし。

AIメンター拓海

その点も設計に組み込まれています。論文は参加ノードが自由に入退場できる

AIBRプレミアム

関連する記事

AI Business Reviewをもっと見る

今すぐ購読し、続きを読んで、すべてのアーカイブにアクセスしましょう。

続きを読む