AIBR プレミアム
拓海先生、最近部下が『NLPで固有表現を取れるようにしろ』って騒ぐんですけど、正直何から手を付ければいいのか見当が付かないんです。これは導入の投資対効果として期待できることなんでしょうか。
素晴らしい着眼点ですね！固有表現認識（Named Entity Recognition, NER）は顧客名や製品名、地名などを自動で抜き出す技術です。投資対効果はデータの使いみち次第で大きく変わりますが、まずは仕組みを簡単に理解できれば判断しやすくなりますよ。
なるほど。で、最近の研究だとCNNとかLSTMとか出てくるじゃないですか。そもそもそれらは何が違うんですか。現場の熟練者のルールを全部置き換えられるんでしょうか。
大丈夫、一緒にやれば必ずできますよ。簡単に言えば、LSTMは文の流れを時間軸で覚える長期短期記憶モデル、CNNは文字や単語の局所パターンを抽出する畳み込みネットワークです。今回の研究は両方を組み合わせることで、単語レベルと文字レベルの特徴を同時に取れるようにしたのです。
これって要するに単語の意味と綴りのパターンを同時に見て判断するということですか。だとすれば略語や表記ゆれにも強くできそうですね。
その通りですよ。要点を三つにまとめると、1) 単語の意味を表すワード埋め込み（word embeddings）を使う、2) 文字レベルの特徴をCNNで自動抽出する、3) 双方向LSTM（Bidirectional LSTM）で文脈を前後から見る、です。これにより手作業の特徴設計を大幅に減らせます。
手作業の特徴設計が減るのは嬉しいですが、学習に必要なデータ量や計算資源はどうなんでしょうか。うちの現場PCでは厳しい気がしますが。
安心してください。研究では公開されている単語埋め込みだけで高い性能が出ると報告されています。実務では初期はクラウドで学習し、得られたモデルをオンプレミスで推論するなど段階的な導入が現実的です。投資対効果は、取り出した固有表現をどう活用するかで決まりますよ。
具体的にどんな利活用が考えられますか。うちなら顧客名の抽出と帳票の自動振り分けあたりで費用が回収できれば助かりますが。
その用途は非常に相性が良いです。要点を三つにすると、1) 顧客名や製品名の自動抽出で検索や集計を自動化できる、2) 帳票仕分けやRPAのトリガー精度が上がる、3) 人手では見落とす固有表現のパターンを拾える、であり、これらが運用工数の低減とスピード向上につながります。
分かりました。これって要するに、学習済みの語彙情報と文字パターンを組み合わせて文脈を見れば、手作業で作ったルールをほとんど自動で代替できるということですね。まずは小さなデータで試してみます。
