基于算法问题的 GPT-4 评测：对提示策略的系统评估
内容提要
研究测试GPT-4在系统综述中的表现，发现其准确性受偶然一致性和数据不平衡影响。调整后，数据提取达中等水平，筛选性能因阶段和语言而异；使用可靠提示时，全文筛选近乎完美。研究表明，目前系统综述应谨慎使用大语言模型，但在可靠提示下特定任务可与人工媲美。
延伸解读
评估需警惕偶然一致性与数据不平衡
研究指出，GPT-4在系统综述任务中的准确性会受到偶然一致性和数据集不平衡的影响。这意味着直接比较模型与人工的准确率可能产生误导，因为模型可能仅因数据分布偏差而“猜对”。读者在解读类似评测时，应关注是否对这两类因素进行了调整，否则可能高估模型的实际能力。
提示可靠性是性能分化的关键
文章发现，当使用高度可靠的提示筛选全文文献时，GPT-4的性能几乎完美；而对于漏掉高度可靠提示的关键研究，对GPT-4进行惩罚可以进一步提高其性能。这表明提示策略对模型表现有显著影响，不同任务和阶段需要匹配相应的提示设计，不能一概而论。
当前应谨慎使用LLM，但特定任务可媲美人工
研究结论强调，目前在进行系统综述时应谨慎使用大语言模型，但在可靠提示下完成的特定系统综述任务，LLM可以与人工表现媲美。这提示实践者不应完全依赖或完全排斥LLM，而应根据任务类型和提示可靠性进行选择性应用，并保持人工监督。
Q&A
GPT-4在系统综述中的表现如何？
研究发现，GPT-4在大多数任务上的准确性与人工表现相当，但结果受到偶然一致性和数据集不平衡的影响。调整后，数据提取达到中等水平，筛选性能因阶段和语言而异。使用高度可靠的提示时，全文筛选性能几乎完美。
使用GPT-4进行系统综述时需要注意什么？
目前在进行系统综述时应谨慎使用LLM，因为其性能受偶然一致性和数据集不平衡影响，且在不同阶段和语言上表现不一。但在可靠提示下，特定任务可与人工表现媲美。
GPT-4在全文筛选中的表现如何？
当使用高度可靠的提示筛选全文文献时，GPT-4的性能几乎完美。对于漏掉了高度可靠提示的关键研究，对GPT-4进行惩罚可以进一步提高其性能。
GPT-4在数据提取方面的准确性如何？
调整了偶然一致性和数据集不平衡因素后，GPT-4在数据提取方面达到了中等水平。
GPT-4在医学知识评估中的表现如何？
通过对USMLE和MultiMedQA基准数据集的全面评估，发现不需要专门的提示造型来激发GPT-4，它的表现超过了USMLE的合格分数约20分，并表现优于早期的通用模型（GPT-3.5）以及专门针对医学知识进行细化调整的模型（Med-PaLM，Flan-PaLM540B的提示调整版本）。
GPT-4在科学发现中的潜在应用有哪些？
研究涉及药物发现、生物学、计算化学（密度泛函理论和分子动力学）、材料设计和偏微分方程等多个科学领域。初步探索表明，GPT-4在各种科学应用中展示出有希望的潜力，显示出处理复杂问题解决和知识整合任务的能力。
