BEARCUBS：コンピュータ操作型ウェブエージェントのためのベンチマーク

（BEARCUBS: A benchmark for computer-using web agents）

田中専務

拓海先生、最近若手から「ウェブ操作ができるAIを入れるべきだ」と言われましてね。本当に現場で使えるものなんでしょうか。投資対効果が心配でして。

AIメンター拓海

素晴らしい着眼点ですね！大丈夫、一緒に整理しましょう。今回紹介する研究はBEARCUBSという評価基準で、実際のウェブを使えるAI、つまりウェブエージェントの実力を現場に近い形で測れるようにしたものですよ。

田中専務

それは要するに、今のチャット型のAIと何が違うんですか。うちの現場で役立つかどうか、直感的に知りたいのです。

AIメンター拓海

端的に言うと、チャット型は文章で答えるのが得意ですが、BEARCUBSで扱うのは画面上を実際に操作して答えを取ってくるAIです。動画を見たり、複数のページをクリックして正しい数値を探したりと、現場の作業に近いので評価が実用寄りになるんです。

田中専務

なるほど。で、実際にどんなテストをするんですか。ライブのサイトを使うと変化が激しくて評価が難しい気がするのですが。

AIメンター拓海

その通りです。BEARCUBSは111問の情報検索型QA（Question-Answer pairs QA 質問応答ペア）を用意し、ライブのウェブページ上で正しい答えに到達できるかを評価します。各問題には人間が検証した正しい操作の軌跡も付いており、どの操作が足りなかったかの分析が可能です。

田中専務

それだと、うちのように古い業務システムや画面での自動化に役立つかもしれませんね。ただ、失敗すると現場に影響が出そうで怖いんです。実運用のリスクはどう見ればいいですか。

AIメンター拓海

大丈夫、着実に段階を踏めばリスクは制御できますよ。要点は三つです。まずは評価で示された失敗モードを理解すること、次に人の監督下で試験運用すること、最後に実運用前に明確なロールバック手順を作ることです。これで多くの事故を未然に防げます。

田中専務

これって要するに、まずは現場の簡単な作業からAIにやらせて、問題点を評価→改善→拡大する流れを踏めば安心、ということですか？

AIメンター拓海

まさにその通りです！素晴らしい着眼点ですね。小さく安全に始めて、BEARCUBSのような評価でボトルネックを見つけ、改善を重ねれば投資対効果は高められますよ。

田中専務

評価で見えてくる課題とは具体的にどんなものですか。うちの事務作業で起きそうな例を教えてください。

AIメンター拓海

例えば細かいクリック制御（マウスの微調整）、複数条件でのデータ抽出、ページ読み込みの遅延に対する再試行の扱いなどが出ます。BEARCUBSはこれらをライブページで試すため、現場特有の問題点が早期に明らかになるんです。

田中専務

わかりました。それならまずは社内の定型レポート作成を試験対象にしてみます。最後に私の方でも要点を整理しておきますね。

AIメンター拓海

素晴らしい作戦です！要点は三つで、まずは小さく試すこと、次にBEARCUBSのような現実に近い評価で穴を見つけること、最後に人の監督とロールバックを用意することです。大丈夫、一緒にやれば必ずできますよ。

田中専務

はい。私の理解では、BEARCUBSは実際のウェブを使う111問のテストで、AIの画面操作能力やデータ抽出の実力を評価し、運用前に問題点を洗い出して段階的に導入するための基準ということですね。これなら現場に合った使い方が見えてきそうです。