本文提出了一种生成模型,通过结构化的正则先验利用标记源数据和未标记目标数据联合学习源模型和目标模型的参数来解决跨语言迁移的问题。该方法在10种语言中获得了平均5.2%和8.3%的绝对改善。
本研究提出了一种结构保持转换(SPT)方法生成自然且多样化的对抗样本,具有高可迁移性。实验结果表明,该方法可以绕过强有力的对抗训练,并在攻击其他目标模型时表现自然。
本文介绍了一种名为SHOT的算法,可用于最小化目标模型和参考模型参数之间的距离。该算法适用于任何GBML基线,并已证明其优于对应基线的结果。
投机采样是一种加速大语言模型推理的方法,利用小模型(草稿模型)和大模型(目标模型)实现高效输出。该方法通过在明显序列上保持一致性,允许目标模型一次输出多个token,并修改了拒绝采样公式,结合标准采样方法,提高了接受率,且可与量化和多查询注意力等技术结合使用。
完成下面两步后,将自动完成登录并继续当前操作。