拓海先生、最近部下が「LSTMを使ってマルウェア検出をやろう」と言い出しまして、何をどう判断すればいいのか全くわかりません。要するに何を一番気にすればいいんでしょうか。
素晴らしい着眼点ですね！大丈夫、一緒に整理すれば必ずできますよ。結論を先に言うと、この論文は「複数のハイパーパラメータが互いに影響し合うため、単独で決めるのは危険であり、階層的に選ぶ方法が合理的だ」と示していますよ。
階層的に選ぶ、ですか。具体的にはどのパラメータを上位に置けばいいのか知りたいのですが、工場で言えばラインのボトルネックみたいなものですか。
いい比喩ですね。まさにボトルネックを上位に置くイメージですよ。要点を3つで言うと、1) バッチサイズ(batch size)が最重要で、2) ドロップアウト(dropout)やパディング長(padding length)が続き、3) これらを踏まえて埋め込みサイズ(embedding size)などを決めると効率的です。
これって要するにバッチサイズが一番影響するということ？もしそうなら現場の運用設計を変えないといけない可能性があります。
その通りです。大切なのはバッチサイズが他のパラメータの選び方に影響を及ぼす点ですから、まず計算資源や運用のバースト性を見直す必要がありますよ。とはいえ、一度整理すれば安定運用できるんです。
運用コストの面で不安です。計算資源を増やす投資が必要になった場合、どの程度の効果が見込めるかをどう判断すればいいですか。
ここも要点を3つで考えましょう。1) 最初は小さなパイロットでバッチサイズを変えて効果を測る、2) ドロップアウトで過学習を抑えるコスト対効果を評価する、3) 最終的に本番データで再検証して導入判断をする。これで投資リスクを抑えられますよ。
なるほど、段階的にやればリスクは取れるということですね。現場の担当に何を指示すれば分かりやすいですか。
まずは短期ミッションを設定しましょう。具体的には、1) 現状のバッチサイズでベースラインを取る、2) バッチサイズだけを変えた実験を複数回行う、3) その結果をもとにドロップアウトやパディングを順に調整する、という手順です。これなら現場も迷いませんよ。
わかりました。最後に私の言葉でまとめていいですか。ええと、この論文は「複数の設定が互いに影響するので、まずバッチサイズを起点にして、その後にドロップアウトやパディング長を順に決める階層的な調整をすることで、効率よくマルウェア検出モデルを作れる」ということですね。
