本研究分析了现有子词分词方法在蛋白质序列处理中的不足，比较了BPE、WordPiece和SentencePiece，发现它们在表示和域边界保持方面存在显著差异，传统方法需改进以更好适应蛋白质特征。

本研究探讨了形态学类型学对分词和语言建模性能的影响，比较了合成和分析结构的语言。结果表明，合成特征语言在BPE分词中展现出更高的子词规律性和生产力，从而在语言建模任务中取得更佳效果。

本文探讨了在联邦学习中实现用户级差分隐私的多种方法，提出了DPNR、TextHide、SubMix和SentDP等技术，这些技术有效减少了隐私泄露，并对模型性能影响较小。同时，研究讨论了针对语言模型的攻击及防御策略，强调了在分布式学习中保护用户隐私的重要性。

该研究分析了多种仇恨言论检测模型，发现数据类型和标注标准比模型架构更重要。提出的DeepHate模型在检测仇恨言论方面优于现有技术，并通过改进的LSTM架构提高分类性能。HateCOT数据集的引入显著提升了预训练模型在检测有害内容的能力，尤其在低资源情况下表现突出。

本研究探讨了命名实体识别（NER）的标注错误问题，提出了CrossWeigh框架和混合标注方法，结合人力与大型语言模型，提高了NER模型性能。实验结果表明，该方法在多个数据集上表现优越，有效解决了传统标注中的噪音和类别不平衡问题。

本文介绍了多种子词规则化方法以提高神经机器翻译在低资源领域的鲁棒性，包括“mixout”、BPE-dropout和对抗子单词规范化技术（ADVSR）。这些方法通过随机扰动和多样化分词过程显著提升了翻译质量和模型性能。同时，探讨了阈值词汇裁剪的应用及其对模型性能的影响，发现其可能导致性能下降。

本文研究了低频用户提示模式及字符模型在自动完成任务中的应用，提出了一种轻量级模型以提高文本生成的准确性和稳定性。通过优化分词方法和引入视觉概念，提升了模型性能，并强调了词语对齐在机器翻译中的重要性。

本文综述神经机器翻译的词汇处理研究，涵盖：句子级小词汇表提升英法翻译BLEU；黑盒系统安全与防御；上下文化表示改进词汇选择；模型提取攻击及防御无效；子词与微调策略比较；字节级BBPE模型促进跨语言共享；重要性采样支持大词汇解码；子词单位处理开放词汇；视觉文本表示增强稳健性；源代码词汇建模关键决策分析。

本文提出新的标准以评估子词符号化器中的词汇表示质量和词汇重叠度，发现跨语言单词表的重叠可能对某些下游任务产生负面影响，但在命名实体识别和句子级任务中分享词汇表是有益的。同时，多语种语言模型中特定语言标记的覆盖范围显著影响单词级任务。为未来的模型开发人员提供了详细的指导，以选择最适合他们特定应用程序的符号化器。

该研究提出了一种新的动作框架，将会话代理的动作空间视为潜在变量，并开发无监督的方法从数据中诱导其自己的动作空间。实验结果表明，该方法在 DealOrNoDeal 和 MultiWoz 对话上实现了更好的实证绩效改进。