拓海さん、最近部下に「脆弱性予測のデータが足りない」って言われて困ってます。要するに、集めたデータに見えない脆弱性があるって話ですが、本当ですか？
素晴らしい着眼点ですね！大丈夫、これから順を追って説明しますよ。端的に言うと、過去に修正された箇所だけで学習すると、その間に存在していた“潜在的脆弱性（latent vulnerabilities）”を見落としている可能性があるんです。
ええと、じゃあその“潜在的脆弱性”って、修正される前の見えない不具合みたいなものでしょうか？現場はそんな細かいところまで追えるんですか。
その通りです。例えるなら、売上データだけで商品企画をするのではなく、返品やクレームの履歴も見ることで見逃していた問題点が見つかる、といった感覚です。要点は三つで、データ欠損があること、欠損を埋める方法があること、埋めると予測精度が上がる可能性があることですよ。
これって要するに、今使っているデータセットが半分しか真実を映していない可能性があって、それを補えばAIの判断が変わるということですか？
まさにその通りですよ。要するに現状のラベル付けは修正コミットに依存しており、修正までに存在した脆弱性は取りこぼされがちです。研究ではその取りこぼしを“潜在的脆弱性”と呼び、発見・再ラベリングすることで学習データの質を改善できると示しています。
しかし、うちのような現場でそれをやるのはコスト高になりませんか。投資対効果の面で納得したいのですが。
良い問いですね！ここも要点は三つで、まず自動手法で一定割合は拾えること、次に低リソースのプロジェクトでは効果が限定的なこと、最後に手作業での精査は部分的に必要なことです。つまり段階的に導入して効果を確かめるのが現実的です。
段階的導入というと、まずどこから手をつければいいですか。うちの現場でもできる具体案を教えてください。
まずは既存のデータでモデルを一つ学習させ、そのモデルで可能性の高い箇所を自動予測してサンプルを作る。次に現場のエンジニアにそのサンプルを部分的にレビューしてもらい、精度とコストを評価する。それで費用対効果が取れそうなら範囲を広げれば良いんです。
なるほど。じゃあ最後に、私が会議で説明するときに使える簡単なまとめを教えてください。投資を決める立場として短く伝えたいのです。
いいですね、要点三つでいきましょう。第一に、現在のデータは修正コミットに偏っており見逃しがある。第二に、自動検出と部分的な人手レビューでその見逃しを補える。第三に、段階的導入で費用対効果を検証できる。大丈夫、一緒にやれば必ずできますよ。
分かりました。自分の言葉で言うと、「今の学習データは修正された時点の情報だけで完結しており、その間にあった脆弱性を自動で見つけて再ラベルすることで、モデルの学習データが増え、脆弱性発見の精度が上がる可能性がある。まずは小さく試して効果が出れば本格導入する」ということでよろしいですね。
