Evaluation of large language models within GenAI in qualitative research
未评分
来源：
Nature
关键字：
neural coding
发布时间：
2025-10-07 23:52
摘要：
研究评估了GenAI在定性研究中的应用，特别是大型语言模型的表现。结果显示，尽管GenAI在主题分析中能够识别出一些主题，但在选择支持性引用方面表现不佳，且存在幻觉现象。研究强调了GenAI在定性分析中的局限性，建议其作为人类分析的辅助工具，而非替代品。
原文：
查看原文
价值分投票
评分标准
新闻价值分采用0-10分制，综合考虑新闻的真实性、重要性、时效性、影响力等多个维度。
评分越高，表示该新闻的价值越大，越值得关注。
价值维度分析
domain_focus
0.0分+不属于医疗健康、生命科学领域
business_impact
0.0分+无商业影响
scientific_rigor
1.0分+有研究论文、专家观点等软性证据
timeliness_innovation
0.5分+常规进展、渐进式改进
investment_perspective
0.0分+无投资信息
market_value_relevance
0.0分+非治疗相关或极小众应用
team_institution_background
0.0分+背景不明
technical_barrier_competition
0.0分+无技术壁垒、红海市场
关键证据
GenAI在主题分析中的表现不如人类分析
存在选择引用不当和幻觉等问题
研究评估了GenAI在定性研究中的应用
拒绝原因
无商业情报，缺乏早期投资价值
真实性检查
否
AI评分总结
研究评估了GenAI在定性研究中的应用，特别是大型语言模型的表现。结果显示，尽管GenAI在主题分析中能够识别出一些主题，但在选择支持性引用方面表现不佳，且存在幻觉现象。研究强调了GenAI在定性分析中的局限性，建议其作为人类分析的辅助工具，而非替代品。