Peta::NN 是一个用 Perl 编写的神经网络库，无需外部框架，专注训练小型模型（几千到几十万权重），用于处理字符串的窄任务。它支持链式组合模型，可在 CPU 和 GPU 后端运行，训练德语名词复数等任务准确率达 98% 以上。库约 7000 行，强调小模型组合优于大模型，已在 CPAN 发布。

本文揭示参数高效微调（PEFT）对特洛伊攻击存在独特脆弱性，提出双层优化攻击方法PETA，可在用户用干净数据微调后仍保留后门，并给出“正交化”理论解释。防御上，省略部分层PEFT并解冻参数子集可有效中和该攻击。

本文提出了新的标准来评估子词符号化器中的词汇表示质量和词汇重叠度，发现跨语言单词表的重叠可能对某些下游任务产生负面影响，但在命名实体识别和句子级任务中分享词汇表是有益的。同时，多语种语言模型中特定语言标记的覆盖范围显著影响单词级任务。本文为未来的模型开发人员提供了选择最适合他们特定应用程序的符号化器的详细指导。

本文研究了PEFT机制在PLMs中的安全风险，提出了一种新的攻击方式PETA，并探索了一种简单的防御方法。研究表明，PETA攻击在各种下游任务和触发器设计上都有效，防御方法是在选定层中省略PEFT并解冻参数子集，能够有效中和PETA。

本文研究了PEFT机制在PLMs中的安全风险，提出了一种新的攻击方式PETA，并探索了一种简单的防御方法。研究表明，PETA攻击在各种下游任务和触发器设计上都很有效，但可以通过省略PEFT并解冻选定层的参数子集来中和。