The pitfalls of multiple-choice questions in generative AI and medical education
未评分
来源：
Nature
关键字：
AI radiology
发布时间：
2025-11-27 03:43
摘要：
本研究探讨了多项选择题在医学教育中的局限性，提出了新的评估方法，旨在更准确地评估大型语言模型在医学领域的能力。研究发现，现有的多项选择题基准可能会高估模型的能力，建议采用自由回答问题的方式进行评估，以更好地反映模型的临床推理能力。
原文：
查看原文
价值分投票
评分标准
新闻价值分采用0-10分制，综合考虑新闻的真实性、重要性、时效性、影响力等多个维度。
评分越高，表示该新闻的价值越大，越值得关注。
价值维度分析
domain_focus
0.0分+不属于医疗健康、生命科学领域
business_impact
0.0分+无商业影响
scientific_rigor
1.0分+有研究论文、专家观点等软性证据
timeliness_innovation
1.0分+技术改进、应用创新
investment_perspective
0.0分+不符合早期投资阶段
market_value_relevance
0.0分+非治疗相关或极小众应用
team_institution_background
0.0分+背景不明
technical_barrier_competition
0.0分+无技术壁垒、红海市场
拒绝原因
标题包含非商业情报，不符合商业情报要求
真实性检查
否
AI评分总结
本研究探讨了多项选择题在医学教育中的局限性，提出了新的评估方法，旨在更准确地评估大型语言模型在医学领域的能力。研究发现，现有的多项选择题基准可能会高估模型的能力，建议采用自由回答问题的方式进行评估，以更好地反映模型的临床推理能力。