
拓海先生、最近部下から「授業評価をオンラインで取れるようにしたい」と言われて困っております。紙のテストとオンラインだと、結果や取り方で違いが出るものですか?

素晴らしい着眼点ですね!概論を先に言うと、参加率の違いと環境依存の実務的影響が生じる可能性があり、適切な運用でその差は縮められるんですよ。

それは要するに、オンラインにしたら学生の反応が減ったり、結果の信頼性が落ちるということですか?

良い整理ですね。結論だけ言えば”場合による”です。研究は参加率(participation rate)を中心に、運用方法で差が縮むことを示しています。運用次第で投資対効果は高められるんですよ。

投資対効果と言いますと、具体的にどのような運用が良いのでしょうか。現場は忙しいので、簡単にできる方法を教えてください。

分かりました。要点は3つで説明しますね。1) インセンティブ付与、2) 明確な指示とリマインド、3) 教員の関与です。これらでオンラインの参加率は大きく改善できますよ。

これって要するに、やり方次第でオンラインでも紙と同等のデータが取れるということ?

まさにその通りです。もう少しだけ具体的に言うと、研究ではForce Concept Inventory (FCI)(フォース・コンセプト・インベントリ)やConceptual Survey of Electricity and Magnetism (CSEM)(電磁気学概念調査)、Colorado Learning Attitudes about Science Survey (CLASS)(学習態度調査)を使って比較しています。

専門用語が並びましたが、要はテストの種類を統一して比較しているということですね。では現場での実務的なアドバイスは何でしょうか。

現場ではまず小さな実験を勧めます。一定のクラスでオンライン運用を試し、LASSO(LA Supported Student Outcomes)システムのようなプラットフォームを使ってデータを集め、インセンティブを付けて反応を見てください。

分かりました、まずは試験的に一クラスで運用してみます。最後に私の言葉でまとめさせてください。

素晴らしいまとめになりますよ。大丈夫、一緒にやれば必ずできますよ。

要するに、運用次第でオンラインでも有益なデータが取れる。まず小さく試して、教員の関与とインセンティブで参加率を上げる、ということで間違いないですね。


