ニューラルネットワークの可解釈化を分割で考える

（YASENN: Explaining Neural Networks via Partitioning Activation Sequences）

田中専務

拓海さん、最近部下が「この論文を読め」と言うのですが、題名が長くて取っつきにくくて……要するに何が新しいのでしょうか。

AIメンター拓海

素晴らしい着眼点ですね！この論文はニューラルネットワークの「中で何が起きているか」を説明する新しい方法を提案していますよ。大丈夫、一緒に要点を3つで整理できますよ。

田中専務

3つですか。まずは経営視点で知りたいのは、現場で「説明できる」ことがどれだけ役に立つのか、という点です。

AIメンター拓海

良い質問ですよ。要点はこうです。1) モデルの振る舞いを局所的に分解して理解できること、2) 説明の誤りがある場所を検出して安全性を高められること、3) 解釈可能なルールを現場ルールに落とし込みやすいこと、です。投資対効果（ROI）の評価に直結しますよ。

田中専務

なるほど。技術的には何を使って「説明」しているのですか。難しい言葉が出てくると現場が混乱しそうでして。

AIメンター拓海

専門用語は避けますね。やっていることは、ニューラルネットワークの各層ごとの「活動パターン」を捉え、その順番をコード化して入力空間を分割しているだけです。たとえば工場のラインで、各工程のランプが点く順番で不具合パターンを区別するイメージです。

田中専務

これって要するに、モデルの内部で似た動きをする入力群ごとにまとまりを作って、それを後から人が解釈するということですか？

AIメンター拓海

まさにその通りですよ！そしてその「まとまり」を作るのに決定木のアンサンブルを使っており、各層の出力を葉番号に変換してコード列を作ります。そのコード列が入力空間の分割条件になるのです。

田中専務

それは現場での説明に使えるのですか。部下に簡単に説明できるフレーズが欲しいのですが。

AIメンター拓海

いいですね。短く3つにまとめます。1) ネットワークの挙動を「コード列」で分割する、2) 各分割を解釈可能なモデルで説明できる、3) 誤解釈が起きやすい領域を検出して注意を促せる。これだけ伝えれば十分に実務的です。

田中専務

わかりました。最後に一つだけ。現場でこの手法を使うときの注意点は何でしょうか。

AIメンター拓海

現場での注意点は三つあります。1) 分割の細かさを調整しないと解釈が過度に断片化する、2) 解釈モデルの性能を検証して誤ったルールを避ける、3) 実運用では分割外（未知領域）に対する挙動を監視する。大丈夫、一緒に設定すれば必ずできますよ。

田中専務

では私の言葉で言い直します。要するに「モデルの内部で似た振る舞いをする入力群をコード化して、それぞれを別々に説明することで、どこでモデルが間違いやすいかを見つけられる」ということで間違いないですね。