野生データによる破局的忘却の克服

（Overcoming Catastrophic Forgetting with Unlabeled Data in the Wild）

田中専務

拓海先生、最近うちの若手が「終わりなき学習（Lifelong Learning）が重要」と言うのですが、現場で何が問題になるのか簡単に教えてくださいませんか。

AIメンター拓海

素晴らしい着眼点ですね！端的に言うと、深層学習モデルは新しい仕事を学ぶときに過去の仕事を忘れてしまうことがあるんですよ。これを破局的忘却と言うんです。

田中専務

破局的忘却……聞き慣れませんが、うちで言えば新しい製品データを学習させると以前の製品識別がダメになるようなものですか。

AIメンター拓海

その通りです。要は限られたメモリやリソースの中で次々と新しいクラスや条件を学ぶと、以前の知識が上書きされて性能が落ちるんです。今回の論文はそこを未ラベルデータで補う方法を提示していますよ。

田中専務

未ラベルデータというと、ウェブや現場で取れる大量のラベルなしデータのことですね。これを使えばコストを抑えられるかもしれないと期待していいのでしょうか。

AIメンター拓海

大丈夫、一緒にやれば必ずできますよ。要点を3つにまとめると、1) 未ラベルデータを外部データとして活用する、2) 前のモデルの知識を新しいモデルへうまく移す（蒸留：distillation）こと、3) 信頼度でデータを選ぶことで無駄を減らす、です。

田中専務

これって要するに未ラベルデータを活用して過去のタスクの忘却を防ぐということ？

AIメンター拓海

その理解で合っていますよ。正確には未ラベルの“野生データ”（in the wild）をサンプリングして、過去モデルと新モデルの知識を統合的に学習することで忘却を抑えます。手順が3段階になっている点も重要です。

田中専務

その3段階というのは具体的にどういう流れですか。現場の運用観点で知っておきたいのですが。

AIメンター拓海

まず教師モデルを現在タスクに特化して学習させます。次に前のモデルとその教師モデル、さらに両者のアンサンブルから新モデルへ“グローバル蒸留（global distillation）”で知識を移します。最後に微調整で過学習を避けます。

田中専務

信頼度でデータを選ぶ、というのは現場でどういう手間がかかりますか。大量データから良いものだけ取る作業が大変そうに思えますが。

AIメンター拓海

ここが工夫の肝です。モデルの予測確信度を使って外部データをサンプリングします。高確信データは過去タスクの補強に使い、低確信データは信頼度補正のためにランダムに混ぜます。自動化すれば運用コストは抑えられますよ。

田中専務

なるほど、要点が見えてきました。投資対効果という観点では、まずはどの部分にリソースを割くべきでしょうか。

AIメンター拓海

まずは外部未ラベルデータのパイプライン整備、次に前モデルの出力を利用する蒸留の実装、最後に自動サンプリング基準の調整です。小さく始めて効果を測りながら拡張するのが現実的です。

田中専務

ありがとうございます。では私なりに整理します。未ラベルデータをうまく取り込み、過去モデルの知識を蒸留で引き継ぎ、信頼度で取捨選択することで過去の性能を保てる、という理解で合っていますか。

AIメンター拓海

その通りです。大丈夫、田中専務。できないことはない、まだ知らないだけです。小さなPoCから始めれば必ず結果が見えますよ。