研究表明,采用“金鱼损失”方法训练大模型,可以减少模型对训练数据的记忆,提高智能。该方法通过随机剔除部分token,防止逐字复现内容,同时保持文本流畅性。实验结果显示,金鱼损失显著降低了模型记忆化程度,且性能未受影响。
完成下面两步后,将自动完成登录并继续当前操作。