中国教育学会教育统计与测量分会·青年学者委员会
“青年学者论坛”第十三期开讲
主题一:CUSUM和变化点分析方法检测测试速度的综合回顾和比较
报告嘉宾:喻晓锋(江西师范大学)
主题二:含协变量的序列反应模型及其应用
报告嘉宾:韩雨婷(北京大学)
主持人:詹沛达(浙江师范大学)
报告时间:1月22日 上午9:00-11:00
腾讯会议ID:450 333 113
主讲嘉宾介绍:
喻晓锋,博士,美国圣母大学博士后(2016-2018,合作导师:程莹教授),江西师范大学心理学院副教授,硕士生导师。主要研究方向是智慧学习与测评,测验安全等。主持和参与国家自然科学基金、教育部人文社会科学基金、江西省社科基金等30余项。在Psychological Methods, Multivariate Behavioral Research、British Journal of Mathematical and Statistical Psychology、Journal of Statistical Computation and Simulation、心理学报、心理科学等发表学术论文30余篇。
韩雨婷,2021年6月毕业于北京师范大学心理学学部,获博士学位。加州大学伯克利分校教育研究生院联合培养博士。现为北京大学全国医学教育发展中心博士后。研究方向为心理统计与测量。在Multivariate Behavioral Research,Applied Psychological Measurement,Applied Measurement in Education,《心理科学》等SSCI/CSSCI学术期刊发表论文多篇。目前研究兴趣主要有新型教育测验的过程性数据分析、项目功能差异分析、心理与教育测量模型在医学考试数据分析中的应用等。
讲座内容提要:
主题一
累积和(CUSUM)分析和变化点分析(CPA)是两个典型的统计过程控制方法,用于检测序列中的变化。两者都被用于心理和教育测量研究,用以检测作答得分序列中的异常变化,例如,“加速作答”或作弊等。但是,CUSUM和CPA的优缺点在不同的测试环境中仍然不清楚。在本研究中,我们对十二个基于CUSUM的统计量和三个基于CPA的统计量对加速作答数据的检测进行了全面的比较。考虑了两种加速机制,即基于渐变模型(GCM)下的加速行为和突变模型(HM)下的加速行为,以比较两种方法的表现。研究结果表明,这些统计量对于“加速作答”检测的表现受到数据生成模型,异常的严重程度,以及测验长度的影响。由于现实中“加速作答”产生的机制未知,当测试长度较长时,建议使用两个基于 CUSUM 的统计量。
Yu, X. F., & Cheng, Y. (2020). A comprehensive review and comparison of CUSUM and change-point-analysis methods to detect test speededness. Multivariate Behavioral Research, 1–22. doi:10.1080/00273171.2020.1809981.
主题二
协变量经常出现在心理与教育研究中,在分析时对协变量加以控制可以得到更加准确的估计结果。在基于计算机的问题解决测验中,也可能存在影响学生反应过程表现的协变量。为了在控制协变量的影响下,对学生的潜在能力进行更准确的估计,同时评估协变量对于反应过程表现的影响大小,本研究提出了含协变量的序列反应模型(sequential response model with covariates,SRM-C)。Monte Carlo模拟研究表明,当过程数据受到协变量的影响时,相比于使用不含协变量的模型,使用SRM-C对数据的拟合更好,对潜在能力的估计更加准确。对PISA 2012 计算机化问题解决测验 Tickets 任务的过程数据分析结果表明,SRM-C的模型数据拟合比不含协变量的模型要好,学生的家庭经济、社会和文化地位水平会影响他们在Tickets 任务上的行为过程表现。
欢迎对教育测评感兴趣的教育工作者关注和参与。
(转载自:教育统计与测量前沿微信公众号,原文链接:https://mp.weixin.qq.com/s/3mnQOGzgbLZ1a8dRVcLf5g)