拓海先生、最近部下から「ユーザが学習する効果を測る必要がある」と言われまして、何を測ればいいのか正直ピンと来ないんです。これって要するに何を知るための研究なんでしょうか。
素晴らしい着眼点ですね！簡潔に言うと、この論文は「ユーザ自身が新しい操作や表示に慣れて行動を変える効果（ユーザ学習）」と「システムが個別化して変わる効果（パーソナライゼーション）」を分けて測る方法を示していますよ。
なるほど。で、従来の実験では何が問題になるんですか。現場からはよくあるA/Bテストで測ればいいと言われましたが。
大丈夫、一緒に整理しましょう。ポイントは三つです。1) 従来のCookie-Cookie-Day（CCD）実験はユーザ学習を捉えるための設計ですが、システムが個別化（recommendationの変化）する場合にバイアスが生じます。2) 個別化はユーザの行動を間接的に変え、ユーザ学習と混ざるため分離が必要です。3) 著者らは個別化に介入する新しい実験設計を提案して、二つの効果を分けて推定できるようにしていますよ。
これって要するに、ユーザが慣れた分と、システムが勝手に最適化してきた分を別々に見るってことですか。要するに、効果の内訳を分けるという理解で合ってますか。
その通りですよ。まさに本質はそれです。言い換えれば、製品改善の効果を測るときに「顧客が慣れて買うようになった」のか「システムがより適切に推薦して売った」のかを区別するイメージです。投資対効果（ROI）を判断するには、この内訳が重要になりますよ。
現場に落とすときはどこを押さえれば良いですか。費用も手間もかかるはずですから、優先順位を知りたいのです。
大丈夫、要点は三つに絞れます。1) 目的の明確化―長期的に見たいのか短期の改善だけで良いのか。2) 実験設計―個別化の仕組みを一時的に固定するなどの介入が必要かどうか。3) データと推定手法―非パラメトリックな因果モデルを使うと柔軟に分離できます。まずは目的を決めて、その上で最小限の介入から試すのが現実的です。
非パラメトリックだの因果モデルだの、難しそうで尻込みします。現場のIT担当にはどう説明すればいいですか。
素晴らしい着眼点ですね！実務向けにはこう伝えれば良いです。『ユーザ行動の変化を二つに分けたい。片方はユーザの学び、もう片方は推薦エンジンが学ぶことで起きる変化だ。そこで推薦の一部を一定に保つ実験を入れて、両者を分けて測る。まずは小規模で3週間ほど試す』と説明すれば現場は動きますよ。
なるほど、分かりやすいです。最後に私の理解を確認させてください。要するに、この論文は「ユーザが慣れる効果」と「システムが個別化する効果」を区別して測るための設計と推定方法を示し、実際の大規模システムでどちらの影響が大きいかを検証した、ということですね。
その通りですよ、田中専務。素晴らしいまとめです。一緒に小さく試してみましょう。大丈夫、一緒にやれば必ずできますよ。
分かりました。自分の言葉で言うと、ユーザの行動改善が製品によるものか顧客の慣れかを分けるための実験と分析法を示した論文、という理解で進めます。
