本文介绍了一种名为LANCE的算法,用于自动化模型应力测试。该算法利用语言引导和文本编辑技术,增加了IID测试集的多样性和挑战性,而不改变模型权重。作者对多个预训练模型进行了测试,发现它们在性能上有显著且一致的下降。此外,作者还分析了不同类型编辑对模型的敏感性,并展示了其在揭示ImageNet中未知类别级别模型偏差方面的应用。
正在访问的资源需要验证您是否真人。
或在微信中搜索公众号“小红花技术领袖”并关注
第二步:在公众号对话中发送验证码: