文章以美团AutoResearch自进化系统为例,指出自动研究系统应优先做好实验管理:记录实验继承关系、代码提交与数据版本,保留运行环境和评估输出,确保结果可追溯、可复现;资源上隔离执行队列,设置并发与预算上限,明确超时停止与重试规则,并清理残留资源;实验结论与发布权限分离,离线指标好不等于可上线,执行环境须限制权限。建议团队从边界清晰的离线任务入手,固定评估集,验证最优结果能否复现,再扩大自动化范围。
斯坦福开源人形机器人ToddlerBot高0.56米、重3.4公斤,具30个自由度,采用全身3D打印与市售电机,成本约6000美元。其核心定位是“为机器学习而生”,提供高保真数字孪生、系统辨识流程、强化学习环境、全身遥操作与模仿学习代码,实现行走、推物、双臂操作的零样本仿真到现实迁移。设计强调可复现性,单人无需专用设备即可在家组装,已有独立复现成功案例。
本文是BadgerDB移植仓颉系列终篇,聚焦基准测试方法论。作者复盘了四个缺陷:数据目录误落tmpfs导致I/O虚高、负载过小无统计意义、缺少环境指纹、跨语言规模不对齐;并揭示Go侧三个陷阱:frac_10读空表、key长度不等价、语义对齐基准缺失。最终给出可复现流程:只报绝对值与同二进制开关对照、必报离散度、环境指纹入报告、一条命令跑完,并指出原版本演进表无git依据。
运维一致性评估中,执行成功不等于符合规范。应基于规范、证据和评估三要素,逐项检查约束,区分通过、失败与未知,处理容差、缺失证据和严重性,并区分必需与建议约束。避免用单一分数掩盖关键失败,保留证据快照与规范版本,确保结果可解释、可复现。
文章介绍六个让 Jupyter Notebook 保持可运行的习惯:将配置和随机种子放在首格;函数复制输入、不修改全局变量;用校验函数检查数据契约;在笔记本内编写小型测试夹具和断言;用 doctest 执行文档示例;用 main() 和名称保护使笔记本可导出为脚本。作者以奥运会运动员数据集为例,发现三行重复记录和两条测试哨兵数据,说明这些习惯能避免结果出错。
OpenAI于9月16日发布模型失配报告框架及六个案例,将模型偏离意图的异常行为纳入结构化披露。报告需涵盖轨迹、权限、环境和可复现性四层证据,覆盖训练到部署全周期。作者认为,比个案更重要的是建立可持续的披露制度,但该框架仍属OpenAI自评,需关注分母、复现率与更新机制。
论文复现是科学基石,但机器学习领域面临可复现性危机。Inherent Labs团队训练了270亿参数的AI智能体Faraday,利用Codex GPT-5.5作为工具,在73%的分布内任务和60%的AI for Science任务上超越Claude和GPT-5.5。Faraday通过自动生成任务空间和稳定GRPO后训练,展现出更强的科学严谨性,能指导更大模型工作,提升复现能力。
本文介绍了Nix,一个强大的包管理器,支持原子回滚和多版本并行运行。Nix通过惰性求值和哈希计算确保软件构建的可复现性,简化了依赖管理,适合初学者使用。
AI研究面临可复现性危机,影响政策制定。论文指出,尽管AI论文数量迅速增长,但复现率较低。为确保有效治理,需提高可复现性标准,建议采取预注册、提供计算资源和报告负面结果等措施。
本文探讨了AI技能的设计与开发,强调可复现性和维护性的重要性。将AI视为协作者,Skills被定义为可重用的任务能力包,包含执行说明和参考资料。文章还讨论了混合式开发的必要性,以及如何将复杂任务拆分为可验证的阶段,以确保流程的稳定性和可追溯性。
在AI Agent系统开发中,复杂性并未消失,而是被平台吸收,导致开发者误以为简单。真正的挑战在于确保Agent的长期稳定性、可复现性和可进化性。尽管当前框架如LangChain降低了门槛,但仍需额外的工程支持以应对复杂任务。
自Deepseek-R1发布以来,研究者们在视觉语言模型(VLM)领域应用了RL Scaling。上海交通大学等团队提出了MAYE框架,以提升训练过程的透明性和可复现性,解决评估标准不一致的问题。MAYE提供了简洁的训练架构和标准化评估方案,帮助研究者更好地理解模型学习过程,推动RL在VLM领域的研究进展。
本研究提出了开源工具Evalica,旨在解决自然语言处理协议的可靠性和可复现性问题。该工具支持现代排行榜的创建,并通过Web界面、命令行和Python API优化模型评估流程。
本文介绍了一种用户友好的新几何符号求解器Newclid,支持命令行接口和GeoGebra输入,改进了可复现性和错误修复,解决了AlphaGeometry无法处理的问题,具有显著优势。
该文综述机器学习与深度学习系统的软件测试研究,涵盖测试策略、质量属性、突变测试框架、DeepGauge多层次测试标准、漏洞与公平性、框架兼容性、错误可复现性及AI系统分析框架,指出软件工程与深度学习领域存在差异,呼吁改进研究实践以提升可复现性与系统稳健性。
本文分享了作者对NixOS的使用体验,强调其声明式配置和可复现性。NixOS的包管理系统Nixpkgs包丰富,适合喜欢定制的用户,尽管学习曲线较陡。作者认为NixOS在系统维护和更新方面具有优势,未来发展前景乐观。
CISPA团队在S&P 2024发表论文,调查六年间150余篇顶会模糊测试论文,发现可复现性差:仅26%提交工件并获徽章,多数自选测试目标且未用统计工具,部分论文实验环境有偏、数据不可靠。报告批评了MemLock、SoFi、DARWIN等论文的评测问题,呼吁采用FuzzBench等公开透明机制。
CISPA团队在S&P 2024发表SoK论文,调研近六年150多篇顶会Fuzzing论文,发现普遍存在可复现性差、测试目标少且不公开、对比对象不当、实验环境偏心、缺乏统计分析等问题,并批评多篇论文夸大效果。作者呼吁采用FuzzBench和公开竞赛等公开透明的评测机制,以遏制浮夸风气。
调研发现顶会Fuzzing论文缺乏可复现性、测试目标选择有限、比较对象不准确、实验环境存在问题、数据分析不充分。文章呼吁建立公开透明的公证机制,提高Fuzzing研究的质量和可信度。
本文介绍了使用Nix语言配置NixOS系统的两种方式:传统的/etc/nixos/configuration.nix方式和更推荐的Nix Flake方式。
完成下面两步后,将自动完成登录并继续当前操作。