AIBR プレミアム
拓海先生、最近部下から『AIはもっと賢くないと』って言われて困っているんです。で、そもそも本当にAIって我々が思うような論理を理解しているんでしょうか？
素晴らしい着眼点ですね！大丈夫、一緒に整理してみましょう。今回の論文は要するに、AIが見せる“賢さ”が本当にルール（原理）に基づくものか、それとも単なるパターン記憶かを、非常にシンプルな加算の問題で検証しているんですよ。
加算ですか。そんな基本的なものを？それで何がわかるんですか、現場に関係ありますかね。
いい質問です。結論を3点で言うと、1) 見かけ上の正答率は高くても、内部で本当の“ルール”を使っているとは限らない、2) 記号を変えると急にできなくなるため、ルールの一般化が弱い、3) ルールを明示しても性能が落ちることがあり、モデルの内部処理は人間の期待と異なる可能性が高い、ということです。
これって要するに、AIは「答えをたくさん覚えている」だけで、原理に基づいて考えているわけではない、ということですか？
まさにその観点が核心です。言い換えれば、AIが任意の表現に対して同じ“ルール適用”をできるかどうかを試しているのです。分かりやすく言えば、社員が覚えたマニュアル通りだけ対応するのか、状況に応じて原理を応用できるかを見ているようなものですよ。
実務的には、うちがAIに投資してもその差が出るんでしょうか。要するに投資対効果はどこを見るべきですか。
良い視点です。要点を3つにまとめます。第一に、業務がルールに厳密に従う繰り返し作業であれば、記憶ベースでも効果は出やすい。第二に、外形が変わる（記号や様式が異なる）場面が多ければ、ルール理解が必要で、そのときは現行モデルでは脆弱性が出る。第三に、評価は単なる精度でなく、想定外入力に対する堅牢性で行うべきです。
なるほど。試験で数字を変えたら駄目になったという話は聞きますが、具体的にはどんな風に試したんですか？
ここは丁寧に説明しますよ。研究ではまず普通の数字表現で0から2^64までの加算を投げて、モデルの正答率を測った。次に同じ数を別の記号（例: 7 を Y に置き換える）や異なる表現に変えて再テストして、正答率がどれだけ落ちるかを見ています。落ち方が激しければ、モデルは単に見たパターンを参照している可能性が高いのです。
自分の言葉でまとめると、モデルは普通の数字だといい成績を出すが、表現を変えるとできなくなる。だから本当の意味で『理解』しているか怪しい、ということですね。
