AIBR プレミアム
田中専務
拓海先生、最近部下から「知識蒸留（Knowledge Distillation）を導入すればモデルを小さくできる」と言われましたが、顔認証に特化した新しい手法があると聞きました。これって経営的にメリットありますか？
AIメンター拓海
素晴らしい着眼点ですね！大丈夫、重要なポイントは三つです。まず、モデルを軽くして運用コストを下げられること、次に現場のデバイスでも高い精度を保てること、最後に導入と保守が比較的容易であることです。今回は顔認証向けに特化したGrouped Knowledge Distillationという考え方を噛み砕いて説明しますよ。
田中専務
「Knowledge Distillation（知識蒸留）」自体は名前だけ聞いたことがあります。要するに賢い大きいモデルから小さいモデルに“知恵”を移す話ですよね？でも顔認証では上手くいかない理由があるのですか？
AIメンター拓海
素晴らしい着眼点ですね！一般的なKnowledge Distillationは「出力の確率分布（logits）」を真似させる手法があり、特徴量の次元を揃える必要が軽いという利点があります。ただ顔認証は「誰の顔か」を厳密に識別するタスクで、不要な細部の情報まで真似ると逆に学習が難しくなるんです。だから重要な部分だけを選別して伝える必要がありますよ。
田中専務
なるほど。具体的にはどの部分を選んで伝えるんですか。投資対効果を考えると、余計なことを省いて安く済ませたいのですが。
AIメンター拓海
