斯坦福 AI 团队抄袭清华大模型?背后几个有趣的细节。两个印度小哥,拿着阿拉伯学生的作品出来宣传,最终丢了大人。
内容提要
斯坦福大学AI团队被指控抄袭清华大学模型“迷你CPM杠拉玛3V 2.5”,最终承认了抄袭行为。文章介绍了争议背后的人物和技术细节。
延伸解读
抄袭实锤的关键:清华简测试
清华团队用战国竹简训练模型,使模型能识别古文字。斯坦福团队被指抄袭后,用该模型识别竹简,发现对错结果与清华模型完全一致,包括错误也相同。这种高度一致性成为抄袭的实证,因为模型在未公开的测试集上表现相同,极不可能是独立开发的结果。
分词器解释为何站不住脚
斯坦福团队最初辩称只使用了清华模型的分词器,且项目更早。但分词器通常在模型发布后才能获取,且清华V2.0使用Llama 2分词器,V2.5为适配Llama 3重新设计了分词器。若斯坦福使用V2.0分词器,与V2.5不兼容,无法解释模型行为一致,因此辩解存在漏洞。
高斯噪声与代码相似性的误区
高斯噪声是训练中向图像添加正态分布噪声,以提升模型对模糊图像的泛化能力,并非抄袭证据。同样,代码结构或变量名相似也不能简单断定为抄袭,因为现代软件常复用公共架构和库。真正实锤的是模型在特定测试集上表现完全一致,如清华简识别结果。
开源规则与国内图像识别实力
此次事件被视为对开源规则的践踏,使用开源成果应如实声明。同时,文章指出中国在图像识别领域有优势,如安防应用、数据标注丰富,以及处理中文OCR难度更高,国内模型如零一万物、通义千问在评比中评分较高,此次事件或让国内技术更受重视。
Q&A
斯坦福大学AI团队为什么被指控抄袭?
斯坦福大学AI团队被指控抄袭清华大学的模型“迷你CPM杠拉玛3V 2.5”,最初他们否认抄袭,称只使用了清华模型的分词器,但最终承认了抄袭行为。
事件中涉及的主要人物有哪些?
事件中主要人物包括南加州大学的穆斯塔法·阿尔贾德里和斯坦福的阿克什·加尔格、悉达多·沙马。
分词器在模型训练中有什么作用?
分词器在模型训练中用于将文本数据分解成可处理的单元,帮助模型理解和生成语言。
清华大学如何验证抄袭行为?
清华大学通过古代竹简的训练,发现斯坦福团队的模型在识别上与其高度一致,从而验证了抄袭行为。
高斯噪声在图像识别中起什么作用?
高斯噪声用于增强模型的泛化能力,使其能够更好地处理模糊或不清晰的图像。
这起抄袭事件对开源文化有什么影响?
抄袭行为对开源文化造成伤害,强调了遵守开源规则的重要性,损害了开源软件的发展。