GitHub联合微软推出开源基准ReviewBench,用219个公开PR评测AI代码审查工具。首期榜单中,GitHub Copilot以40.1%的F1得分居首,但测试由GitHub自行完成且各产品测试时间不一,结果存疑。Martian等竞品基准排名不同,凸显基准设计对结果影响很大。
Harbor 评测工具现可在 Vercel Sandbox 上运行。Harbor 是 Terminal-Bench 背后的开源框架,其注册表还包含 SWE-bench、tau3-bench 和 OSWorld 等基准。使用 --env vercel 参数后,每个试验都在独立的 Firecracker 微虚拟机中执行,可实现远超本地机器的并行能力。任务的网络策略在虚拟机外的沙箱防火墙上执行,可选的凭证注入会在防火墙处将密钥附加到匹配的出站请求,密钥不会进入沙箱。配合 AI Gateway,一个 API 密钥即可访问多家供应商的数百个模型,更换 --model 参数即可评测另一模型。需 Harbor 0.22.0 或更高版本。
本文介绍了多种语音处理模型的研究进展,包括FAST方法、AudioPaLM、OWSM和Pheme模型系列。这些模型在语音识别、翻译和对话系统中表现出色,克服了传统模型的局限性,提升了性能和交互能力。同时,提出了AIR-Bench基准评测音频语言模型的能力,为未来研究指明了方向。
本文综述文本到SQL领域多项研究,涵盖Bird基准、Spider鲁棒性评测、Spider-DK领域知识、Spider-Syn同义词鲁棒性及AmbiQT歧义处理。结果显示ChatGPT准确率仅40.08%,远低于人类的92.96%;模型面对扰动时性能可下降50.7%,亟需提升鲁棒性与泛化能力。
该文综述多模态大语言模型(MLLM)最新进展,涵盖仇恨表情包检测、虚假信息识别、常识知识图融合、视觉知识增强推理等任务。研究表明,视觉指令微调可提升模型真实性与道德一致性;结合目标检测与OCR能改善细粒度图像理解并减少虚构,在10项基准中9项超越先进模型,平均得分最高提升12.99%。
该文综述图变换器研究,提出分类体系,涵盖结构感知自注意力、子图表示、位置嵌入与注意力改进,并应用于分子预测、视觉任务和超图学习。Graphormer、HyperGT等模型在多个基准取得最优,同时探讨异质图处理与未来挑战。
本文综述了多智能体与多模态大模型在仿真环境中的研究,涵盖危险疏散、家庭任务、机器人规划与探索。GPT-4 Vision在具身决策中表现突出,准确率较GPT-4 HOLMES高约3%,领先开源模型26%。BEHAVIOR、ALFRED等基准推动了家务活动与长程规划评测,AMSLAM将成功率提升23.48%。
该文综述多项研究,评估语言模型在指令遵循与可控文本概括上的表现。结果显示,指令可控概括仍是难题,存在多种错误与性能差异;模型在复杂指令、对抗性指令及细粒度约束下明显落后于人类,且易过拟合指令短语。代码任务中,指令模型零样本具竞争力,少样本示例常有益但不稳定,微调可进一步提升性能。研究还发布IntruSum、CELLO、IFEval、FollowEval、FollowBench等基准,推动后续研究。
完成下面两步后,将自动完成登录并继续当前操作。