釜山国立大学研究人员评估重复项目开发师资培训对项目难度预测的影响

评估对于学习至关重要，因为它决定了学生是否掌握了所教授的概念。试题难度指数(正确答案与总答案之比)在此过程中起着关键作用，是衡量考试难度的指标。教育工作者创建试题和预测其难度指数的能力对评估有重大影响。教育工作者经常高估试题难度，这凸显了提高预测能力的必要性。然而，针对提高这种能力的教师发展计划的研究有限。

为了解决这一差距，釜山国立大学医学事务副校长、医学教育教授兼家庭医学教授Sang Lee教授领导的研究小组进行了一项研究，研究结果于2024 年 5 月 30 日在BMC 医学教育上在线发表。该研究调查了医学院教师的重复项目开发培训是否提高了他们预测和调整多项选择题 (MCQ) 难度的能力。

李教授在解释研究背景时表示：“就像一幅画的最后一笔画成了一幅完美的画，教育也是通过评估来完善的。医学院的教职员工如果没有经过适当的培训就无法创造出高质量的项目。项目开发培训是必不可少的，这项研究表明，这种培训的有效性会随着重复而提高。”

首次于 2016 年举行了项目开发研讨会，第二次于 2018 年举行，共有 62 名参与者参加。对项目难度预测的估计准确度进行了比较。在研讨会之前，教师们开发了新起草的项目，然后对其进行了审查。项目开发委员会对教职员工进行了培训，通过提供持续的反馈，帮助他们根据国家考试标准修改新起草的项目，使其具有理想的难度范围和基于应用的重点。此外，还将参与者预测的难度指数与四年级医学生评估分析进行了比较。

研究发现，在培训之前，只有心脏病学科目预测难度指数与实际难度指数之间存在显著一致性。培训之后，心脏病学、神经内科、内科和预防医学科目也都存在显著一致性。这些结果表明，系统有效的培训可以提高医学教育中 MCQ 评估的质量。

反复的培训课程显著提高了教职员工准确预测和调整试题难度的能力，从而实现有效的评估和更好的教育成果。尽管有这些好处，但由于研讨会为期三天，教职员工日程繁忙，维持这些好处可能具有挑战性。然而，经过培训的教育工作者将能够更好地创建和调整试题，从而改善所有学术领域的评估实践。总之，持续的教职员工发展计划对于确保创建符合评估目的的适当试题至关重要。

谈到这项研究的潜在应用，李教授表示：“反复的题目开发训练不仅有助于调整难度，还能增强题目的构造，提高其辨别能力，并妥善解决有效性问题。”他进一步补充道：“很快将迎来使用人工智能进行题目开发的时代。为此，像我们这样的研究对于提供有关现有题目和学生答案数据的必要信息非常重要，这将有助于开发一个由人工智能驱动的自动化题目开发程序。”