只需100个实例：通过测试少量实例预测新LLM在未见数据上的成功
内容提要
本研究探讨大型语言模型（LLMs）的预测能力，发现其性能可通过RMSE进行准确预测。评估显示LLMs在小样本任务中表现优异，但受数据大小影响显著。引入新基准AQA-Bench评估顺序推理能力，结果表明闭源模型优于开源模型。此外，研究提出主动测试框架AcTracer，以提高评估效率和准确性。总体而言，LLMs在多问题处理能力上表现良好，但缺乏真正理解。
延伸解读
预测LLM性能的可行性
文章指出，大型语言模型的性能可以以低于5%的RMSE进行准确预测，这意味着在评估新模型时，可能无需运行全部测试集。研究者还提出寻找信息性子集的问题，并整合BIG-bench Hard信息将规模缩小三倍。这为高效评估新模型家族提供了实证基础，但预测精度可能受任务类型和模型差异影响，实际应用中需谨慎验证。
顺序推理评估的新基准
AQA-Bench通过交互式评估协议测试LLM的顺序推理能力，要求模型记住访问节点并策略性移动。评估发现闭源模型如GPT-4和Gemini通常优于开源模型；提供简单交互示例可能损害少样本性能；在有限前继步骤下小模型性能可大幅提升；性能与模型大小的缩放关系并不总是显著。这些结果提示评估顺序推理时需考虑交互设计和模型特性。
多问题评估的潜力与局限
多问题评估显示LLM在多问题任务上表现接近单问题任务，且长输入下通常无位置偏差，使其成为成本效益高的实用方法。然而，在索引选择任务中表现显著较差，表明LLM缺乏真正理解。这提醒读者，多问题提示虽能提升效率，但可能掩盖模型在需要深层理解任务上的不足，需结合具体任务类型解读结果。
主动测试框架AcTracer的效率提升
AcTracer通过多阶段池基主动选择策略，从内部和外部信息指导测试数据采样，旨在解决评估中的数据需求问题。实验显示其在各类任务中优于现有方法，性能提升达38.83%。这一框架可能降低评估成本并提高准确性，但其泛化能力及在不同模型上的表现仍需进一步验证，读者应关注其适用条件和潜在偏差。
Q&A
大型语言模型的性能如何进行预测？
大型语言模型的性能可以通过5%以下的RMSE进行准确预测。
LLM在小样本任务中的表现如何？
LLM在处理小规模样本时表现出强大的优化能力，但受数据大小影响显著。
AQA-Bench是什么？
AQA-Bench是一个评估大型语言模型在算法环境中的顺序推理能力的新基准。
闭源模型与开源模型在顺序推理能力上的表现如何？
研究发现闭源模型通常优于开源模型，表现出较强的顺序推理能力。
主动测试框架AcTracer的作用是什么？
AcTracer通过多阶段池基主动选择策略，提高了性能评估的效率和准确性，实验结果显示性能提升达38.83%。
LLM在多问题处理能力上的表现如何？
LLM在多问题任务上的表现通常接近或与单问题任务一样好，但缺乏真正的理解。
