一分钟读论文：《研究 Agent 把证据磨得太光滑》
内容提要
纽约大学论文指出深度研究Agent存在“平滑化”偏差：将冲突证据压缩为单一叙事，使结论强于证据支持。在7个系统、4个数据集上的测试显示，各系统至少25%的结论存在实质平滑，其中Gemini Deep Research严重平滑率最高，Luna与Sol最干净。部分Agent极少打开引用页面，仅依赖搜索摘录；将相关证据回喂修订可显著提升专家评分。
延伸解读
“平滑化”衡量的是压缩忠实度，而非事实真假
论文提出的 SmoothScore 并不判断结论本身真假，而是检查结论对证据的压缩是否忠实：证据混合就该保留混合，证据范围窄就该收窄范围。传统逐条事实核查只给“有支持/无支持”的二元判断，对综合叙事型结论缺少连续刻度。SmoothScore 把测量拆成结论抽取、证据抽取、维度归纳、证据分配、打分五步，用 1-5 分标记平滑程度，≥3 为实质性平滑，≥4 为严重平滑。
系统间差距显著：更长报告不等于更少平滑
重度平滑是拉开系统差距的关键。Gemini Deep Research 有 85-93% 的结论得分 ≥3，严重平滑率 22-35%，约为其他闭源 agent 的 3-12 倍；其引用文档数约为 Luna 或 Sol 的 2-5 倍，报告也最长，但更长并不等于压缩更有效。最干净的是 Luna 与 Sol，至少 36% 的结论完全没有平滑。开源端 DR Tulu 与 QUEST 约 59%/55% 的结论 ≥3，处于中间水平。
引用页面打开率低，是平滑化的重要嫌疑
Agent 可能根本没读过自己引用的页面。Luna 对 496 个引用文档只打开 95 个（19%），65 份报告里 45 篇一页未开；Claude Sonnet 5 的打开率只有 2%。它们几乎全靠搜索工具截断后的摘录工作，摘录长度中位数仅 585 字符，来源正文里的限定条件与反向发现很可能从未被看到。这为“结论强于证据”提供了一种机制解释。
回喂证据可提升专家评分，但评估口径仍需留意
补救实验给出正面信号：把 SmoothScore 检索出的证据喂回给 Agent 修订报告，ResearcherBench 的专家评分 Luna +4.4、Sonnet +12.0（均 p<.001），补充上下文体量只有原文档的五分之一到十分之一，效果持平甚至超过直接给全文。不过这些数字来自论文自测口径，预印本尚未经同行评审；打分依赖 LLM judge，作者也承认在 ≥3 阈值上两名标注员的一致性只有 κ=0.62。
Q&A
什么是研究Agent的“平滑化”偏差？
平滑化偏差指深度研究Agent将彼此冲突、条件各异的来源压缩成单一叙事，丢掉证据的参差感，从而写出比引用所能支持的大胆得多的结论。
SmoothScore是如何给结论打分的？
SmoothScore先从报告抽取关键结论，再检索相关证据段落，按高层维度（如效果、适用条件）聚类，最后由LLM judge对照证据给每条结论打1-5分：1分无平滑，≥3分实质性平滑，≥4分严重平滑。它评估的是结论对证据的压缩是否忠实，而非结论真假。
哪些研究Agent的平滑化问题最严重？
Gemini Deep Research最严重：85-93%的结论得分≥3，均分3.05-3.27，严重平滑率22-35%，约为其他闭源Agent的3-12倍、Sol的13-26倍。开源端DR Tulu和QUEST约59%/55%的结论≥3。Luna与Sol最干净，至少36%的结论得分为1。
为什么Agent会产生平滑化偏差？
一个主要嫌疑是Agent根本没读过自己引用的页面。例如Luna对496个引用文档只打开95个（19%），Claude Sonnet 5打开率仅2%。它们几乎全靠搜索工具截断后的摘录（中位长度585字符）工作，来源正文中的限定条件和反向发现大概率从未被看到。
有什么方法可以减轻Agent的平滑化偏差？
将SmoothScore检索出的证据回喂给Agent修订报告，可显著提升专家评分：ResearcherBench上Luna提升4.4分、Sonnet提升12.0分（均p<.001）。补充上下文的体量仅为原文档的五分之一到十分之一，效果持平甚至超过直接给全文。
这项研究的结论可靠吗？有哪些局限性？
研究来自预印本，尚未经同行评审；打分依赖LLM judge，作者承认在≥3阈值上两名标注员的一致性只有κ=0.62。但人工校验显示judge与标注者1在93%的结论上相差1分以内，方向是清楚的。
