AIBR プレミアム
拓海先生、最近部下から「形態素情報を使うと固有表現認識が良くなる」と聞きまして、でも外部の形態素解析器が必要だとも。うちの業界ではそんな解析器は整備されていない国も多いと聞くのですが、本当でしょうか。
素晴らしい着眼点ですね！結論を先に言うと、多くの言語で外部の形態素解析器に頼らずに、固有表現認識を改善できる方法が提案されていますよ。大丈夫、一緒に要点を押さえましょう。
要点を三つでお願いします。うちのような古い製造業でも使えるかどうか、投資対効果が気になります。
いい質問です。要点は三つあります。1) 形態タグの曖昧性を外部ツールに頼らず学べること、2) その学習を固有表現認識（Named Entity Recognition NER 固有表現認識）に同時に組み込めること、3) 実用上は候補の解析結果リストさえあれば始められ、コストを下げられることです。
候補の解析結果リスト、ですか。うちの現場は方言や古い言い回しも多いんです。これって要するに外部の精緻な解析器が無くても使えるということ？これって要するに外部の解析器が不要ということ？
その通りです。正確には「完全に不要」ではなく、各語に対していくつかの候補解析（candidate morphological analyses）を示すだけでよいということです。候補リストは人手や簡易ツールで作れる場合が多く、投資が抑えられますよ。
なるほど。で、実際の精度は従来の方法と比べてどの程度差があるんですか。現場で使える水準なら導入を考えたいのですが。
研究の示すところでは、外部で完全に正解化した形態タグを使う場合と同等の性能が得られるケースが多いです。特に膨大な語形変化を持つ言語では、候補リスト＋同時学習の組み合わせが有効になるのです。
投資対効果で言うと、候補リストを用意する作業とモデルの学習のどちらに重さがあるのでしょうか。うちのIT部門は人手が足りません。
現実的な運用観点からは、まず候補リストの整備を軽量化するのが先手です。候補リストは既存の辞書や簡易ルールでかなり補えるため、初期投資は限定的です。学習は外部の既存データや小さな社内データでプレトレーニングしてから現場データで微調整すると低コストで行けますよ。
これって要するに、まず粗い準備で始めて、運用しながら改善していくやり方でも効果が期待できるということですね。最後に、私の言葉でまとめさせてください。
ぜひお願いします。要点の言い直しは理解を深める良い方法ですよ。
はい。要するに「形態タグの候補を渡して、固有表現認識と形態タグの選択を同時に学習させれば、厳密な外部形態素解析器が無くても良い結果が出せる」ということだと理解しました。投資は候補作成に少し、後は既存データで段階的に改善していけばよい、と。
