Meta 使用 Markdown 文件存储记忆、cron 定时器调度,构建智能体循环,在可量化任务上超越百人工程师团队。其核心不在模型,而在严密的评估体系:先编写自动验证脚本,让智能体自检迭代。代价是 Token 消耗达普通问答的千倍。亚马逊 Token 排行榜曾导致员工刷量,印证了古德哈特定律。未来技术领袖的杠杆在于定义目标与评估规则,而非亲手写代码。
文章以对话形式讨论科研中的“指标”:指标是筛选数据的准则(如信噪比大于5)。因测量存在误差,数据常服从高斯分布,故取两个标准差可覆盖约95%的数据。指标须有理论或统计依据,不能先射箭再画靶。指标本质是资源与效率限制下兼顾公平的折中,但一旦变成目标,往往就不再是好指标。
本文讨论“tokenmaxxing”并非真正价值,反而触发古德哈特定律。通过发布速度和PR合并可衡量代理结果,无论是否有人工参与。技能民主化影响初级开发者及人才管道。Coder平台支持自托管云开发环境和AI编码代理。
陶哲轩在ICM大会演讲中警告,AI正引发数学界“百年危机”。他提出假设AI能完成研究级数学任务,指出数学目标将因“古德哈特定律”脱钩,导致“证明过剩”和“消化不良”。他建议披露AI使用、降低“首个解出”权重、提高“消化”权重,并强调人类需定义规则,避免被AI公司逻辑主导。
完成下面两步后,将自动完成登录并继续当前操作。