谢赛宁领导的华人团队推出了LiveCodeBench Pro编程竞赛基准，测试显示多款大模型在编程题上表现不佳，均得0分。该基准每日更新题库，旨在防止模型“背题”。结果表明，模型在逻辑和知识密集型问题上表现较好，但在观察密集型问题上能力不足，反映出算法推理和案例分析的短板。