使用大型语言模型进行系统综述中的数据提取探索：快速可行性研究
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
研究表明，GPT-4在文献筛选、审查和数据提取方面表现良好，尤其在使用可靠提示时几乎完美。尽管其准确性与人工相当，但仍受数据集不平衡影响。建议在系统综述中谨慎使用大型语言模型，但在特定任务中可与人工表现媲美。
🔎
延伸解读
性能评估需考虑偶然一致性与数据不平衡
文章指出，GPT-4在系统综述任务中的准确性受偶然一致性和数据集不平衡影响。调整这些因素后，其数据提取性能为中等，筛选性能在不同阶段和语言上从无到中等。这意味着直接比较LLM与人工的准确率可能高估其实际能力，读者应关注研究是否控制了这些统计偏差。
提示质量对LLM筛选性能影响显著
研究发现，当使用高度可靠的提示筛选全文文献时，GPT-4的性能几乎完美。对于漏掉高度可靠提示的关键研究，对GPT-4进行惩罚可进一步提高性能。这表明提示工程在LLM辅助系统综述中至关重要，用户应投入精力设计可靠提示，而非依赖默认设置。
LLM在系统综述中的当前定位：辅助而非替代
基于上述发现，文章建议目前在进行系统综述时应谨慎使用LLM，但在可靠提示下完成的特定任务中，LLM可与人工表现媲美。因此，LLM更适合作为辅助工具，用于数据提取或初步筛选，而关键决策仍需人工监督，以确保综述的严谨性。
❓
Q&A
GPT-4在系统综述中的表现如何？
GPT-4在标题/摘要筛选、全文审查和数据提取方面的准确性与人工相当，但受数据集不平衡影响。
使用GPT-4进行数据提取时需要注意什么？
在使用高度可靠的提示时，GPT-4的性能几乎完美，但在特定任务中仍需谨慎使用。
GPT-4在识别错误方面的能力如何？
GPT-4能够有效识别大部分错误，但在挑选更好的论文时仍存在一定误差。
在系统综述中使用大型语言模型的风险是什么？
建议在进行系统综述时谨慎使用大型语言模型，因其性能受数据集不平衡影响。
GPT-4在教育对话分析中的应用效果如何？
GPT-4在教育对话分析中表现出色，能够显著节省时间并与人工编码者保持高度一致性。
如何提高GPT-4在数据提取中的性能？
对漏掉高度可靠提示的关键研究进行惩罚可以进一步提高GPT-4的性能。
🏷️
