AIBR プレミアム
拓海先生、お忙しいところ失礼します。ログから不正や異常を見つける研究があると聞きましたが、弊社のような製造業でも役に立ちますか。どれくらい投資対効果が見込めるのかが気になります。
素晴らしい着眼点ですね！大丈夫、一緒に整理していきますよ。要点はシンプルで、ログという時系列データの中から「普通でない並び」を圧縮の観点で見つける手法なんです。まずは仕組みを平易に説明しますね。
圧縮で異常を見つけるとは、少し直感に合いません。圧縮というとファイルサイズを減らすだけではないのですか。要するに、どういう原理ですか？
良い疑問です。これをビジネス風に言えば、圧縮とはデータの中にある「繰り返し」や「規則」を見つけて短く表現することです。普通の振る舞いは繰り返しが多く圧縮しやすく、異常な並びは新しい情報を含み圧縮が効きにくい。つまり圧縮効率の変化を測れば変わった箇所が分かるんですよ。
なるほど。既存の統計やマルコフ過程に基づく方法とどう違うのでしょうか。現場でログの形式がバラバラなのも心配です。
素晴らしい着眼点ですね！要点は三つです。第一に、この手法は「文法に基づく圧縮（grammar-based compression, GBC）」（以降GBC）を使い、ログを「単語」のようなまとまりで扱うため形式の違いに強い。第二に、確率モデルやマルコフ仮定に依存しないため長い依存関係も扱える。第三に、既存の汎用圧縮ツールと違ってログ単位で辞書を作るから履歴知識を保持できるのです。
これって要するに、普段と違うパターンが出てくると圧縮が効かなくなって、それで「おかしい」と判断するということですか？
その通りですよ。素晴らしい着眼点ですね！具体的には正常ログから文法辞書を学習して、疑わしいシーケンスを追加で圧縮した際の文法長の増え方を指標にするんです。増え方が大きければ「情報量が多い＝珍しい」ため異常として報告されます。
運用面ではどうでしょう。現場の作業者が使うのは難しいのではと不安です。導入に時間がかかると現場が反発します。
大丈夫、ここも整理できますよ。まず最小限の工程は三つで済みます。正常ログを集めること、文法辞書を学習すること、疑わしいログを評価することです。多くの作業は裏側で自動化でき、現場の負担を小さくできますから、段階的に展開すれば投資対効果は見込みやすいです。
なるほど。最後に、要点を私の言葉で整理して良いですか。ログの普段の並びを文法として学習させて、新しいログをそれで圧縮してみて、圧縮効率が落ちたものを異常として拾う、これが本質ということでよろしいでしょうか。
その通りですよ。素晴らしい着眼点ですね！その理解があれば、実務導入の議論は一気に進められます。大丈夫、一緒に段階を踏めば必ずできますよ。
