拓海先生、最近部下が “Fermi Problems” という論文を読めと言ってきまして、正直何を基準に投資効果を判断すればいいか分からなくて困っております。
素晴らしい着眼点ですね！大丈夫です、簡単に整理して要点を3つで説明しますよ。まず、この論文はAIに見積もりや概算をさせる「Fermi Problems (FPs)」を課題として提示している点です。
それは要するに、AIに計算の正確さだけでなく、ざっくり現実に即した判断力を持たせる訓練をするという話ですか？
その通りです！素晴らしい着眼点ですね。端的に言えば、1) 問題を現実的な要素に分解する力、2) 常識や目安に基づく概算力、3) それらを組み合わせて一つの答えにまとめる力、の三点を鍛えることを目的にしているんです。
うちの現場で言えば、在庫のざっくり見積もりや需要の概算をAIに任せるようなイメージでしょうか。導入したら投資対効果はどう見たらいいですか。
いい質問です。ここでも要点は三つに絞れます。1) 初期投資を抑えて概算を自動化できるか、2) 現場が示す簡易データで使えるか、3) 結果が意思決定にどれだけ影響するか、です。小さく試して効果を測ればリスクは低くできますよ。
しかし、論文の評価ではモデルが「二桁違う」なんて書かれていましたが、それは現実に使えないということではないのですか？
良い着眼点ですね！論文で指摘される誤差は、現状の言語モデルが詳細な数値推定を単独で行うのが苦手だという意味です。だから理想はモデルを分解・推定・再統合するワークフローに組み込むことです。
それを実務に落とすなら、現場の人がやっている“分解”をAIに模倣させるということでしょうか。これって要するに現場ノウハウを型にしてAIに学習させるということ？
まさにその通りです。素晴らしい着眼点ですね。現場のステップをテンプレート化して、AIにサブ問を解かせる。そして人が最終確認をするハイブリッド運用が現実的で費用対効果も高くなりますよ。
具体的に、うちの現場で一番小さく試すとしたら何を作ればいいですか。現場はExcelが主なのでそこに合わせたいのですが。
大丈夫、一緒にやれば必ずできますよ。まずはExcelのテンプレートに変数を入れて、AIが推定するサブ問を一つだけ自動化する。次に人がチェックするフローを作る。最後に効果を測る、この三段階で進められます。
なるほど。では導入の最初のトライアルとして、在庫の概算をAIにさせてみて、誤差がどれくらいかを見て判断する、という流れでよろしいですか。
その通りです。開始時点で期待すべきは完璧な数値ではなく、意思決定に役立つレベルの概算が安定して出るかどうかです。うまくいけば人手を減らせ、失敗しても学びが残りますよ。
わかりました。まとめますと、Fermi Problemsの論文はAIに現場的な概算力を持たせるための課題設定で、実務導入は小さく試して人が検証するハイブリッド運用が現実的、という理解でよろしいですか。私の言葉で言うと、現場ノウハウをテンプレ化してAIに概算させ、まずは意思決定に使えるかを検証する、ということですね。
