AIBR プレミアム
拓海先生、最近部下から「社内文書にAIを入れよう」と言われまして、まず何が問題かを知りたいのです。要するにどんな問いにAIが応えられるようになると現場が楽になるのですか？
素晴らしい着眼点ですね、田中専務！まず結論を一言で言うと、この研究は業務文書で人が実際に上げる質問の種類を体系化し、どこまで自動化できるかを示しているんです。重要なポイントは三つありますよ。まず、質問は形式や文書の状態で大きく変わること。次に、全てをAIだけで解決するのは現実的でなく、人の介入が効果的な箇所があること。そしてAIは質問の振り分け（triage）や要約で大きな価値を出せることです。
三つのポイント、分かりやすいです。ただ、現場では「Excelで数式がおかしい」「この文言で承認取れるか」といった細かい問いが来ます。これって要するに現場の『今の状態』に依存する問いが多いということですか？
まさにその通りですよ。ここで重要な用語を一つ出すと、experience sampling（ESM、体験サンプリング）という手法です。これは人が作業中に実際に何を疑問に思ったかをその場で集める方法で、この研究はESMで現場の問いをリアルに拾っています。紙上の完成文書から取った質問とは性質が異なるんです。
なるほど、公開済みの文書で練習したモデルだと現場の生の問いには弱い、と。では、AIを入れると何がまず効くんでしょうか。投資対効果の観点で教えてください。
良い問いですよ。要点を三つにまとめます。第一に、メタデータ（metadata、文書付帯情報）は自動化しやすく効率が上がるんです。第二に、定型的な「使い方」やワークフローの質問は既存の検索技術やルールで十分に支援できます。第三に、文書の内容に関する深い判断は人を介するハイブリッド運用が現実的で、AIは適切な担当者への振り分けや要約で工数を削減できますよ。
要するに全部をAIに任せるのではなく、まずはメタ情報や定型問答、質問の振り分けから導入するのが現実的という理解でよろしいですか？
その理解で合っていますよ。もう一つ付け加えると、question answering（QA、質問応答）モデルは学習データの性質に非常に依存します。公開文書の上で訓練されたモデルはドラフト中の問いを扱うのが苦手なので、社内データでの追加学習や人のフィードバックが鍵になります。
社内データでの学習と人の介入ね。とはいえコストがかかります。どのタイミングで人を入れるべきか、指標のようなものはありますか？
良い観点ですね。運用指標としては三つの軸が有効です。第一に回答の正確さ（precision）と網羅性（recall）のバランス。第二に、人に回す頻度とその回答速度。第三にコスト換算した待ち時間短縮の効果です。これらを試験運用で見ながら、人が介入すべき閾値を決めていくのが現実的です。
分かりました、まずはメタ情報と定型の質問をAIに任せて、深い判断は人が見るハイブリッドで試してみます。自分の言葉で確認しますと、現場の生の問いは公開済み文書で訓練したモデルでは弱いので、社内の実データと人のチェックを組み合わせることで初めて実務で使えるということですね。
