逐次関数空間変分推論とガウス混合近似

（Sequential Function-Space Variational Inference via Gaussian Mixture Approximation）

田中専務

拓海先生、お時間よろしいでしょうか。部下から『継続学習で忘れないモデルを作るにはガウス混合が良いらしい』と聞きまして、正直ピンと来ておりません。これって要するに、どういう話なんですか。

AIメンター拓海

素晴らしい着眼点ですね！大丈夫、ゆっくり説明しますよ。要点は三つです。継続学習では古い知識を保持する必要があること、従来のガウス分布は一つの山（モード）しか捕まえられないこと、そしてガウス混合は複数モードを表現できるため忘却を減らせる可能性があることです。

田中専務

要するに、モデルの記憶が一カ所に偏るから、それを複数に分けて保持すれば忘れにくくなる、という話ですか。ですが現場導入のコストや運用はどうなりますか。

AIメンター拓海

鋭いご質問です。まずコスト面は二つの視点で考えます。一つは学習計算量で、混合分布は成分ごとの計算が増えるため高くなります。もう一つは実運用で、事前学習した特徴抽出器を固定して最終層だけ更新することで大幅に負担を減らせるんですよ。

田中専務

特徴抽出器を固定、というのは要するに既に学んだ部分はそのまま使って、最後の判断だけ追加で学ばせるということでしょうか。社内のサーバで回せる規模感が知りたいのですが。

AIメンター拓海

その通りです。既存の特徴抽出器は深い層の表現を提供する部品で、これを固定すれば訓練対象は小さくなり計算コストは下がります。実際の論文では、この固定器あり・なしで性能とコストを比較して効果を示していますよ。

田中専務

技術面での差別化はどこにあるのですか。既存手法と比べて導入の価値があるか、経営判断したいのです。

AIメンター拓海

良い視点ですね。簡潔に三点で整理します。第一に、従来はパラメータ空間での近似が多かったが、この方法は関数空間（モデルの出力の振る舞い）を直接近似する。第二に、単一ガウスでは後方分布の複数の山を捕まえられないため、混合を使うことで表現力が上がる。第三に、固定特徴抽出器でコストと精度の折衷が可能である、という点です。

田中専務

よく整理していただきました。では最後に、私の理解を一度言い直してみます。これは私の言葉で言うと、『モデルの出力の振る舞いを複数のケースに分けて覚えさせることで、後から新しい仕事を覚えさせても古い仕事を忘れにくくする手法で、計算は増えるが特徴抽出器を固定すれば現場でも実用的にできる』という理解で合っていますか。

AIメンター拓海

その通りです、完璧なまとめですよ。大丈夫、一緒に検討すれば実装のロードマップも示せますから、安心してくださいね。