蓝点网
·
员工爆出Llama 4质量差的原因是混合测试集进行跑分作弊刷榜 Meta否认这种说法
💡
原文中文，约1100字，阅读约需3分钟。
📝
内容提要
网友爆料Meta的Llama 4模型存在跑分作弊，混合测试集数据以提升基准测试表现。一名自称Meta员工的网友对此不满，已提交离职申请。Meta高管否认作弊，表示正在修复模型表现不均的问题。
🎯
关键要点
- 网友爆料Meta的Llama 4模型存在跑分作弊问题，混合测试集数据以提升基准测试表现。
- 一名自称Meta员工的网友对此不满，已提交离职申请。
- Meta高管否认作弊，表示正在修复模型表现不均的问题。
- Llama 4模型未达到预期能力，存在优化不足的问题。
- Meta GenAI副总裁表示测试集训练的说法不属实，模型表现不均是由于准备不充分。
- 该事件源于中文论坛一亩三分地，网友称公司领导建议混合测试集数据以达成目标。
- 网友表示无法接受这种做法，提交离职申请并要求不署名技术报告。
❓
延伸问答
Llama 4模型被指控作弊的具体原因是什么？
Llama 4模型被指控使用混合测试集数据来提升基准测试表现，从而进行跑分作弊。
Meta对此作弊指控的回应是什么？
Meta高管否认了作弊的说法，表示正在修复模型表现不均的问题。
自称Meta员工的网友为什么提交离职申请？
该网友对公司建议混合测试集数据以达成目标的做法感到无法接受，因此提交了离职申请。
Llama 4模型的表现为何未达到预期？
Llama 4模型未达到预期能力，主要是因为优化不足和紧急发布。
Meta GenAI副总裁对测试集训练的说法有什么看法？
Meta GenAI副总裁表示，关于在测试集中训练Llama 4的说法根本不属实。
这一事件是如何在社交媒体上曝光的？
事件源于中文论坛一亩三分地，一名自称Meta员工的网友在该论坛爆料了Llama 4的作弊问题。
➡️
