拓海さん、最近うちの若手が「ASRの後処理で句読点や大文字化が大事」って言うんですけど、正直ピンと来なくて。結局、社内で使えるようになると何が変わるんでしょうか。
素晴らしい着眼点ですね！まず結論を端的に言うと、音声を文字にした後に句点や大文字を復元すると、読みやすさが劇的に上がり、翻訳や要約など次の処理の精度が上がるんです。現場での導入では、軽くて速いモデルが鍵ですよ。
なるほど。ただしうちの現場はクラウドに音声を流すのが抵抗あるんです。となると端末内で処理できないと導入が難しい。で、端末で動く軽いモデルって本当に実用的なんですか。
大丈夫、一緒にやれば必ずできますよ。要点は3つです。1) 軽量であること、2) 推論（inference）が速いこと、3) ストリーミング処理に向いていること。今回の研究は、そこを実現するためにTransformerではなくCNNとBiLSTMを組み合わせた設計を採用しています。
ちょっと専門用語が多いですね。Transformerって要するに巨大で学習に時間がかかる仕組みということ？それとも別のポイントがあるんですか。
素晴らしい着眼点ですね！簡単に言うとその通りです。Transformerはとても強力だが計算量とモデルサイズが大きいので、オンデバイス（端末）での常時動作には不向きなことが多いのです。対してCNNとBiLSTMの組み合わせは、必要な文脈情報を比較的少ない計算で掴めるため端末向けに適しているのです。
なるほど。で、うちが導入検討するとしたら、精度と速度のトレードオフを数字で示してもらえると助かります。どれぐらい小さくてどれぐらい速いのか。
いい質問です。論文では代表的なTransformer系モデルと比べ、ONNX形式のモデルサイズでおよそ1/40、推論時間は約2.5倍の高速化を実現しています。しかも非Transformer系のベースラインを上回るF1値改善を確認しており、実用上の精度・速度の両立が示されています。
それは心強い。最後に……これって要するに、端末内で手早く句読点と大文字を直せる軽いモデルを作って、現場での読みやすさと後続処理の安定性を確保するということですか。
その理解で完璧ですよ。要点を3つでまとめると、1) オンデバイスで動く小型モデル、2) 速度と精度のバランスが取れている、3) 実運用での適用に向く設計、です。大丈夫、一緒に段階を踏めば導入できますよ。
分かりました。自分の言葉で言うと、端末で速く動く小さなモデルで句読点と大文字を補正することで、読みやすさと後続の処理精度を確保できる、ということですね。
