AIBR プレミアム
拓海先生、お忙しいところ失礼します。最近、部下が『Whisperを導入すれば文字起こしが楽になります』と言うのですが、非音声のノイズでモデルが変な文字を吐くと聞きまして、本当でしょうか。
素晴らしい着眼点ですね！その疑問はまさに重要で、最近の研究でWhisperという音声認識モデルが非音声の音にも反応して「幻覚」を生むことが示されていますよ。大丈夫、一緒に整理していきましょう。
幻覚という言い方は物騒ですね。つまりノイズや自然音を入れたら、音声が無い箇所でも勝手に文字を出すということでしょうか。
そうです。まず要点を3つにまとめますね。1) 非音声（音楽や自然音、雑音など）だけを流してもWhisperがしばしば文字列を出力すること、2) それらの頻出する誤出力を集めてBoH（Bag of Hallucinations）を作れること、3) 後処理でその影響を下げて単語誤り率（WER）を改善できること、です。
なるほど。一つ伺いたいのですが、これって要するに非音声の雑音がモデルを『勘違いさせる』ということですか？
素晴らしい要約です！基本はその通りで、モデルは『音のパターン』を見てテキストを推定するため、音声でないパターンでも過去の学習で似た特徴があるとテキストを生成してしまうのです。ただしこの『勘違い』は完全にランダムではなく、頻出の誤出力がある点がポイントです。
頻出する誤出力があるなら、現場でそれを弾けばいいという話に聞こえますが、実務ではどうやって見つけるのですか。
まずは非音声だけの音源を網羅的にモデルに通して、出てくるテキストを全部集める方法が有効です。研究ではこれを使って生じた出力を整理し、頻度の高い誤出力を抽出してBoH（Bag of Hallucinations）というリストを作っています。実務なら最初に現場でよく聞くノイズを集め、同様の処理を行えば近道になりますよ。
現場は忙しくてデータを集める余裕がないのが現実です。投資対効果の観点で、最初に何をすればいいですか。
大丈夫、投資対効果を明確にするための最短ルートを3点にまとめます。1) まずは既存の録音から非音声区間の発生頻度を確認すること、2) 次に頻出ノイズを数十サンプル集めてBoHの候補を作ること、3) 最後に簡単な後処理ルールでそのBoHを除外して実際のWER（Word Error Rate）向上を測ること、です。これで費用対効果が分かりますよ。
ありがとうございます。最後に、私の言葉でまとめますと、この論文は『Whisperが非音声で誤って文字を出す現象を整理して、その頻出誤出力を集めて後処理で除外すれば実務での文字起こし品質が上がる』ということで合っていますか。
そのとおりです、田中専務。まさに本質を掴まれました。現場では小さく試して効果を確かめるのが一番で、私も一緒にやれば必ずできますよ。
