利用机器学习算法优化考试成本与信度

——中国教育学会教育统计与测量分会·青年学者委员会“青年学者论坛”第三期开讲

主题：利用机器学习算法优化考试成本与信度

主讲嘉宾：江哲涵（北京大学医学教育研究所副研究员）

主持人：詹沛达（浙江师范大学教育与人类发展学院副教授）

讲座时间：2021年03月20日10:30~11:30

讲座直播地址：https://meeting.tencent.com/l/MPYoU95MMxuG

主讲嘉宾介绍：

江哲涵，美国旧金山大学学士、美国加州大学洛杉矶分校硕士、美国堪萨斯大学博士。现任北京大学医学教育研究所副研究员、研究生导师；2017年~2020年任职于美国阿拉巴马大学助理教授。主要研究领域为教育测量、统计学与机器学习在教育学和心理学领域的应用，尤其关注医学教育大数据与医师资格考试分析等相关的问题；在Psychometrika、Behavior Research Methods、Multivariate Behavior Methods和Educational and Psychological Measurement等国外顶尖教育学、心理学、信息学期刊发表论文近30篇。荣获2019美国大学与研究图书协会Early Career Scholarship和2018美国图书研究协会Library Assessment Travel Award，另接受美国教育测量协会(NCME)、EBSCO、美国阿拉巴马州政府和中国工程院在内的多项科研基金支持。

讲座内容提要：

客观结构化临床考试(objective structured clinical examination, OSCE)的成本是全球卫生职业教育者关注的问题。作为表现性测验(performance test)的一种，OSCE通常是在概化理论(generalizability theory, G-theory)框架下设计出来的。本文提出了一种基于机器学习的方法，在满足G-theory信度系数阈值的前提下、协助OSCE组织者进行考试设置，以达到成本最小化。作者采用了某医学院主办的OSCE数据，计算G-theory信度系数，并应用模拟退火算法得出OSCE成本最小化时的考试设置方案。通过蒙特卡洛模拟情景的检验，该研究展示了OSCE成本如何随着信度系数阈值的升高而增加。实验证明，基于机器学习的方法可以与教育测量建模相结合，帮助OSCE考试组织者更科学地制定方案。本研究所提出的方法有简易的迁移性，可根据具体的考试设计进行定制并应用到实践中。虽然当前的研究结果令人满意，但也应避免算法收敛失败和成本假设不足等可能出现的隐患。

欢迎对教育测评感兴趣的教育工作者关注和参与。

（转载自：教育统计与测量前沿微信公众号，原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NTU2MTI2MQ==&mid=2247484071&idx=1&sn=3e86cf22c426f0de6f065748ef2b350f&chksm=ce597d65f92ef473d675e35ffb424671df35f55cae892b956c1c280cd3003665f3595be31692&mpshare=1&scene=23&srcid=0317uUBkhmzOwlbMuwRXos5L&sharer_sharetime=1615941825133&sharer_shareid=e6711144a9cdede76e0642224f1c25d6#rd）