It Cannot Be Right If It Was Written by AI: On Lawyers’ Preferences of Documents Perceived as Authored by an LLM vs a Human(AIが書いたと言われると正しく見えない:弁護士がLLM作成文書と人間作成文書をどう評価するか)

田中専務

拓海先生、最近社内でAIが書いた契約書ドラフトを使えるかどうかで議論が起きておりまして、部下たちは「効率化だ!」と言うのですが、正直私にはピンと来ません。これって要するに、AIが書いたと言われるだけで信用が下がることがある、という話なんですか?

AIメンター拓海

素晴らしい着眼点ですね!大丈夫です、一緒に整理すれば必ず見通しが立ちますよ。結論を先に言うと、ある調査では「文書がAI作成だと知らされると、同じ内容でも評価が下がる傾向があった」んですよ。

田中専務

ええ、それは気になります。要するに、同じ文面でも「AIが書いた」とラベルが付くだけで評価が下がるなら、導入しても現場が受け入れないのではないでしょうか。投資対効果が変わってしまいます。

AIメンター拓海

その懸念、正しいです。まず押さえるべきポイントを3つにまとめます。1) 人は出自を手掛かりに信頼を補正する。2) 法務のプロは全員が同じ反応を示すわけではない。3) 将来的な自動化への期待は依然として高い。これが要点です。

田中専務

ふむ、出自で信用が変わる。現場の信頼を保つにはどうすればよいですか。例えば「AIが提案した草案を必ず人がチェックする」ルールにすれば効果がありますか?

AIメンター拓海

それは有効です。現実的な対策を3点で示すと、1) AI出力は人が検証するワークフローを組む、2) 出力の根拠やリスクを明示する、3) 初期は限定的な文書種に適用して成功事例を積む。特に2)で根拠を示すことが信頼回復に効きますよ。

田中専務

なるほど。専門家の反応は一様ではないとおっしゃいましたが、具体的にはどう違うのですか?弁護士と法学部の学生で差が出る、ということですか?

AIメンター拓海

その通りです。研究では法学部生の方が「人が書いた」と表示された文書を強く好む傾向があり、弁護士はやや影響が小さかった。ポイントは経験と批判的評価の差です。経験豊富な実務家ほど、文書の中身で評価しやすいのです。

田中専務

これって要するに、部署内の経験値や慣習によって受け入れ度合いが違うから、同じ導入でも現場ごとに戦略を変えるべきということですね?

AIメンター拓海

まさにそのとおりですよ。大きな結論を3点にまとめると、1) ラベリング効果が存在する、2) 実務経験は評価を安定化させる、3) 将来的な自動化志向は強い。これを踏まえ導入計画を分段階で設計すると良いです。

田中専務

承知しました。では最後に私の言葉でまとめます。要するに「同じ文面でも『AI作成』とすると評価が下がることがある。経験ある担当者のチェックと根拠の提示で受け入れられるように段階的に導入すべき」ということですね。ありがとうございました、拓海先生。

AIBRプレミアム

関連する記事

AI Business Reviewをもっと見る

今すぐ購読し、続きを読んで、すべてのアーカイブにアクセスしましょう。

続きを読む