AIBR プレミアム
拓海先生、最近部下から「ラベルなしで異常検知を始められる方法を調べてほしい」と言われまして、正直どこから手をつけて良いかわかりません。要点だけ教えていただけますか？
素晴らしい着眼点ですね！まず結論を3行でお伝えしますね。1) ラベルをほとんど使わずに安定した（つまり一貫性のある）データを自動で取り出す方法、2) その安定データで学習したワンクラス分類器で残りをスクリーニングする流れ、3) 実務での利点は事前ラベル付け工数の大幅削減と新しい異常パターンへの対応力向上、です。大丈夫、一緒にやれば必ずできますよ。
ラベルがないデータで安定したものを取り出す、とは具体的にどういうことですか？うちの現場だと正常と異常の区別がつきにくいケースが多くて。
良い質問ですよ。ここでは「一貫性（consistent）」を複数の視点で繰り返しクラスタリングしたときに、同じデータ点が似たグループに入り続ける性質と説明します。身近な例で言えば、社員名簿を何度か違う基準で並べ替えても、同じ部署の人たちがだいたい固まるような感覚です。要点は3つ、1) 複数のk値でクラスタリングすること、2) 各クラスタ中心の配置を比較して各点の“平均類似度”を計算すること、3) 類似度が高い点を“安定データ”とみなすことです。
これって要するに安定しているデータだけを集めて、そのデータで基準を作るということですか？
その通りです！要するに「安定データで基準を作って、それ以外を疑う」流れですね。これにより事前に異常ラベルを大量に集める必要がなくなり、変化する異常パターンも比較的見つけやすくなります。大局的に言えば、データの『多数派で一貫している振る舞い』を土台にする発想です。
実務的にはそのあとどう動かせば良いですか。現場に入れてもコストや運用負荷が心配です。
ごもっともです。運用観点での要点も3つに整理します。1) 初期はバッチ運用で一定期間安定データを抽出し、ワンクラス分類器を構築する、2) 本番は分類器をスコアリング用に使い、スコア閾値でアラート化する、3) 定期的に安定データを再抽出して分類器を更新する。これにより現場の負担を抑えつつ継続的に新しい異常を取り込めますよ。
ワンクラス分類器という言葉が出ましたが、それは何ですか。うちのエンジニアにも説明できるように簡単に教えてください。
素晴らしい着眼点ですね！ワンクラス分類器（One-Class Classifier）は「正常だけを学習して、正常から外れるものを異常と判定する」仕組みです。銀行で言えば、優良顧客の取引パターンだけ学び、それと大きく違う取引を見つけるイメージです。利点はラベルを揃える手間を省けること、欠点は学習データに異常が混じると基準が歪むことです。だから最初に一貫性の高いデータを抽出する工程が重要になりますよ。
最後に私の言葉で要点を整理します。つまり「色々な切り口でクラスタリングして、いつも同じ位置にいるデータを正常候補として学習させ、残りをワンクラス分類器で見張る」ということですね。これなら初期投資を抑えつつ効果検証ができそうです。
