AIBR プレミアム
拓海先生、最近うちの若手が「文書の自動分類をやりましょう」と言うのですが、正直ピンと来ません。どんな研究があるのか、まず教えてくださいませんか。
素晴らしい着眼点ですね！大丈夫、一緒に整理しましょう。要点は三つです。どの分類手法を使うか、どのように特徴を作るか、そして評価で何を見ればよいか、です。
要点を三つ、ですか。それぞれをもう少し噛み砕いてください。うちが投資する価値があるか、現場で使えるかを知りたいのです。
まず分類手法は、代表的な三つが研究で比べられています。Support Vector Machine (SVM)（SVM、サポートベクターマシン）、Naïve Bayes (NB)（NB、ナイーブベイズ）、Stochastic Gradient Descent (SGD)（SGD、確率的勾配降下）です。それぞれ得意不得意がありますよ。
得意不得意というと、具体的にはどのような違いが現場に影響しますか。例えば小さな工場の伝票や社内文書を振り分けるときに何を基準に選べば良いですか。
良い質問です。要点は三つで整理します。第一にデータ量、第二に高速性と運用コスト、第三に解釈のしやすさです。たとえばNBは少ないデータでもまずまず動き、SVMは精度が高いが学習に時間がかかることがあります。SGDは大規模データのオンライン更新に向きますよ。
なるほど。特徴の作り方というのも重要とおっしゃいましたが、これは現場でどうすれば良いのですか。難しい数式が必要ではないですか。
心配無用です。特徴量とは簡単に言えば『文章の重要な数え上げ』です。Term Frequency–Inverse Document Frequency (TF-IDF)（TF-IDF、単語の重要度算出）はよく使われる手法で、伝票なら品目語の出現頻度に重みを付けるだけでかなり実用的です。難しい数式は開発側で扱えばよく、現場はラベル付けや評価で関われば良いのです。
これって要するに、どの手法を使うかよりもまずはデータを整えて、代表的な単語やフレーズをきちんと拾えるようにすることが重要ということでしょうか。
その通りですね！素晴らしい着眼点です。要点を3つにまとめると、1)データの質とラベルの整備、2)特徴量（TF-IDFやN-gramなど）の選択、3)運用時の評価指標と更新計画です。これらを満たせば小さな投資で実用化できますよ。
分かりました。最後に、評価指標というのは何を見ればいいのか一言で教えてください。投資対効果を説明するときに使える指標が知りたいのです。
簡潔にですと、精度（accuracy）だけでなく、業務的には誤分類が起きたときのコストを加味した『業務損失期待値』を見てください。つまり正しく分類できる割合と、誤分類が業務にもたらす影響を掛け合わせて判断するのです。大丈夫、一緒に評価指標を作れば経営判断もしやすくなりますよ。
分かりました。整理して言うと、「まずはデータを整えて、TF-IDFなどで特徴を作り、SVMやNB、SGDのどれかを選んで評価し、誤分類のコストを加味して投資判断する」ということでよろしいですね。自分の言葉で言うとこうなります。
