AIBR プレミアム
拓海さん、最近部下が『この論文を参考にすれば決算書へのAI活用が進む』って言うんですが、正直何が新しいのか分かりません。要するにうちの現場で役に立つのですか？
素晴らしい着眼点ですね！大丈夫、一緒に整理すれば見えてきますよ。要点は三つです：1) 人工知能の中でも大規模言語モデル（Large Language Model、LLM）を使っていること、2) これまで必要だったサンプル例（few-shot）が不要なゼロショット（Zero-Shot）方式であること、3) LLMが苦手な正確な計算は自動で作るプログラムに任せる点です。これで経理や財務の複雑な計算問題に対応できるんです。
ふむ、LLMは名前だけ聞いたことがありますが、うちの現場だと『AIが出した答えを鵜呑みにして誤算が出る』という怖さがあるのです。これって要するにAIに計算をやらせるけど、最終的に人が検算できるようになるということですか？
その通りです。大丈夫、まだ知らないだけですよ。ここではLLMが『考える手順』をテキストで出す代わりに、実行可能なPythonプログラムやドメイン固有言語（Domain Specific Language、DSL）を生成します。そして生成したプログラムを外部の実行環境で走らせるため、数値計算の誤差や丸め問題はプログラム側で厳密に扱えます。
それは安心です。ただ、うちの担当が提示する少数の例（few-shot）を作るのは大変だと言っていました。確かに例を揃えるのは時間がかかりますよね？
本当にそうです。few-shot（数例学習）は良い点もありますが、例の選び方や順序に出力が敏感になりがちで、トークン限界に達する場合もあります。今回の論文はそれを避け、ゼロショットで高レベルな指示を与えてプログラムを生成させる設計になっています。これにより準備コストが低く、本番運用までの道のりが短くなりますよ。
なるほど。でも実際にうちの決算書のように表や注記が散らばっている書類に対して、どのくらい正確に答えてくれますか。投資対効果の判断に使える精度が必要なんです。
良い質問ですね。要点三つで説明します。第一に、外部でプログラムを実行するため正確な算術が担保されること。第二に、LLMに高レベルの手順を生成させるので複雑な多段推論（multi-hop reasoning）が可能になること。第三に、様々なGPT系モデルで評価して有意に精度が上がることが示されているため、導入後の期待値が立てやすいことです。
これって要するに、AIに“やり方”を書かせて、そのやり方を確実に実行することで人間が検証しやすくする、ということですね？
まさにそのとおりですよ。大丈夫、一緒にやれば必ずできますよ。導入ではまず小さな帳票や頻繁に問われる問いをターゲットにして、生成されるプログラムの出力と人の計算を突き合わせる運用を推奨します。これで信頼を構築できれば、徐々に適用範囲を広げられます。
分かりました。自分の言葉で整理しますと、まずLLMに直接答えを出させるのではなく、LLMに計算手順を記述させてその手順を機械的に実行する。そうすることで誤差や信用性を下げずに現場で使えるようにする、ですね。これなら説明責任も果たせそうです。
