AI写作初创公司HyperWrite的Reflection 70B未能达到CEO Matt Shumer的宣称。第三方评估无法复制模型的性能，导致Shumer道歉。这一事件引发了关于AI行业透明度和基准的问题。专家强调了可重复性、第三方验证和社区支持的重要性。他们警告不要将基准误认为现实，并建议不断改进和达成共识的基准。最佳实践包括保持纪律、数据驱动和接受批评。文章还强调了科学测试与商业目标之间的不匹配。

开源AI模型Reflection 70B被指造假，其在基准测试中的成绩无法复现。质疑声指出Reflection 70B可能是在基础测试集上训练的，能力不足。AI榜单的可信度受到质疑，大模型考试的排名焦虑被传递给AI。基准测试的隐患包括数据泄露和作弊。基准测试的可信度需要提高，竞技场模式和用户投票可以作为参考。AI模型的选择应该基于实际需求和实践。