AIBR プレミアム
拓海先生、最近うちの若手から「試験の形式が問題だ」と聞いたのですが、具体的に何が問題になるのでしょうか。経営に直結する話なら知っておきたいのです。
素晴らしい着眼点ですね！試験の「問題形式」が成績や合否に影響することはよくあります。今回はそのうち、複雑な複数選択式、英語でcomplex multiple-choice（CMC）と呼ばれる形式が特定の学生層に不利かどうかを調べた研究を噛み砕きますよ。
CMCという言葉は初めて聞きます。要するにどんな問題形式なのですか。現場の教育担当者に説明できるようにお願いできますか。
はい、簡単に説明します。CMCは複数の「部分答え」を示して、その中から全て正しいものだけを含む選択肢を選ぶ形式です。ビジネスに例えるなら、複数の要素をすべて満たす提案書を一つ選べ、という感じで、些細な見落としが結果を大きく左右しますよ。
なるほど。で、それがどうして不公平になるのですか。うちの会社で言えば、フォーマットの違いで昇格試験の合否が変わるようなものですか。
その通りです。研究は大学の物理の試験データを使い、CMCと従来型の問題を比べたところ、CMCの方が点数が下がりやすく、とくに低所得の学生や国内学生に影響が大きかったのです。要点を整理すると三つあります。1）CMCは認知負荷が増える、2）部分答えの組み合わせで答えが推測されやすい、3）結果的に特定層が不利になる可能性がある、です。
これって要するに試験の問い方のせいで、能力の差以外の要因で評価が歪んでいるということ？投資対効果で言えば、誤った形式に時間やリソースを割くリスクがありますか。
そうですよ。短くまとめると三点です。第一に、形式自体が「テストの狙い」以外の部分を測ってしまう可能性がある。第二に、設問の作り方次第で一部の受験者が有利・不利になる。第三に、もし評価が不公平なら教育資源の投下先や入試制度の設計に見直しが必要になる。大丈夫、一緒に整理すれば対策も見えてきますよ。
対策というと具体的にはどのような方策を検討すれば良いのでしょうか。すぐに実行できてコストが高くないものを教えてください。
最初にできることは三つです。1）試験の一部を別形式に変えて比較する、2）問題を分解してどの要素が差を生むか分析する、3）低コストで再テストできる学内の練習プラットフォームを活用する。これだけで現状把握と短期的改善が可能です。大丈夫、必ず実行可能な手順に落とせますよ。
分かりました。要するに、形式のせいで本来測りたい能力以外のものが点数に影響しているかもしれず、それを確かめてから制度設計を見直すべきだということですね。私の言葉で言うと、問題の作り方が評価の歪みを生んでいるかもしれない、と。
