効率的な多領域ディープニューラルネットワークの表現

（Efficient parametrization of multi-domain deep neural networks）

田中専務

拓海先生、お忙しいところ失礼します。部下に「複数の画像処理を一つのAIで動かせるらしい」と聞いたのですが、どういう研究なのか簡単に教えていただけますか。

AIメンター拓海

素晴らしい着眼点ですね！大丈夫、一緒に見ていけるんですよ。要点は三つです：一つ、同じ大きなモデルを複数の領域で共有するための「小さな差分パラメータ」を作ること。二つ、既存能力を忘れずに新しい領域を学べること。三つ、モデルの持ち運びやストレージを効率化できることです。

田中専務

なるほど。「小さな差分パラメータ」とは要するに全部を作り直さずに、現場ごとの調整だけで済ませるということですか。

AIメンター拓海

その通りです！表現すると、巨大な共通の基盤パラメータを持ち、それに追加する「アダプタ（adapter）」のような小さなパーツで領域固有の調整を行うイメージですよ。これで保存コストも学習コストも抑えられるんです。

田中専務

ただ、現場の人間が懸念しているのは、古い領域での精度が下がるのではないかという点です。これって、いわゆる“忘れてしまう”問題に関係しますか。

AIメンター拓海

素晴らしい質問ですね！それは「破滅的忘却（catastrophic forgetting）」の問題です。今回の手法は基盤パラメータを凍結（固定）しておき、領域ごとの小さなパラメータだけを追加するので、既存の知識を保ったまま新しい領域を学習できるんですよ。

田中専務

これって要するに既存のシステムは触らずに、付け足しだけで別の仕事もできるようにする、ということですね？投資対効果はどう考えればいいでしょうか。

AIメンター拓海

よいポイントです。要点は三つで整理できます。第一、ストレージと配布コストが大幅に下がるため、複数拠点で同一基盤を使う場合の初期投資が抑えられます。第二、既存モデルの性能を保持できるためリスクが低いです。第三、各領域の追加は比較的小規模な学習で済むため運用コストが小さいです。

田中専務

運用面では現場の人間でも扱えるものでしょうか。うちの現場はAIに詳しくない人が多くて、結局外注ばかりになったら意味がありません。