人类水平预测的推理与工具
内容提要
本文探讨了大型语言模型（LLMs）在预测任务中的应用与局限性。研究发现，LLMs在某些情况下能提高预测准确性，但在真实世界的预测中，尤其是在促销期间，表现不佳。与人类专家的预测比较显示，高级统计模型并未显著提升预测性能。研究还提出了针对非专业用户的预测软件设计建议，以增强其理解和信任。
延伸解读
LLM预测的真实表现：与人类专家对比
文章指出，GPT-4在Metaculus平台三个月的预测比赛中表现明显不佳，概率预测不准确。在零售行业预测中，比较123位人类预测者和5个LLM（包括ChatGPT4、ChatGPT3.5、Bard、Bing和Llama2），LLM并不一致地胜过人类。高级统计模型也未一致提升人类或LLM的性能。这表明LLM在真实世界预测中仍有局限，需谨慎应用。
促销期预测误差更高的原因与启示
研究发现，无论是人类还是LLM预测者，在促销期间和受到积极外部影响时，预测误差都更高。这可能因为促销活动引入更多不确定性，而模型和人类都难以准确捕捉。因此，在实际预测中，促销期需特别关注，不能过度依赖LLM或高级统计模型，应结合领域知识和其他方法。
面向非专业用户的预测软件设计建议
文章提出为非专业用户设计预测软件的三个考虑因素：安全的逐步方法以促进因果理解和信任；支持人类推理友好组件的白盒模型；包含领域知识。这些建议旨在增强用户对预测结果的理解和信任，使非专业用户也能利用先进预测方法并嵌入自身知识。
LLM预测的局限与未来方向
深度学习系统在预测未来事件上仍困难，模型倾向于猜测大多数事件不太可能发生，这虽在许多数据集中正确，但不反映实际预测能力。新基准MIRAI用于评估LLM在国际事件预测上的能力。未来需开发系统可靠的LLM预测方法，并关注时间序列推理等未充分发展的方向。
Q&A
大型语言模型在预测任务中的表现如何？
大型语言模型在真实世界的预测任务中表现不佳，尤其是在促销期间，预测误差较高。
与人类专家相比，LLMs的预测准确性如何？
研究显示，LLMs在预测准确性上并不一致地胜过人类专家，尤其在促销期间表现较差。
如何设计针对非专业用户的预测软件？
设计应考虑安全的逐步方法、支持人类推理的白盒模型和嵌入领域知识，以增强用户理解和信任。
深度学习系统在预测未来事件方面存在哪些困难？
深度学习系统在预测未来事件时常常倾向于猜测大多数事件不太可能发生，导致准确性不足。
MIRAI基准测试的目的是什么？
MIRAI基准测试旨在全面评估大型语言模型在国际事件预测方面的能力，以促进更准确的国际关系分析模型的开发。
LLMs在促销期间的预测表现如何？
在促销期间，LLMs的预测误差普遍较高，需谨慎考虑其在实际预测中的应用。
