当您编辑代码时，让代码改变自己的 LLM
内容提要
本文提出了并行迭代编辑（PIE）模型，旨在解决本地序列转导问题，提升速度和准确性。同时，研究探讨了多种位置编码方法，如上下文位置编码和动态位置编码，以增强大型语言模型在处理长序列和翻译任务中的性能。
延伸解读
PIE模型如何提升序列转导效率
PIE模型通过预测编辑而非令牌、标记序列而非生成序列，并迭代优化预测来捕获依赖关系，同时将日志分解为编辑和令牌参数以利用预训练语言模型如BERT。相比流行的编码器-解码器模型，PIE在保持准确性的同时速度更快，为本地序列转导任务提供了一种高效替代方案。
位置编码创新：从CoPE到DPE
文章探讨了多种位置编码方法。上下文位置编码（CoPE）使位置可被上下文条件化，支持参考特定词或句子，解决选择性复制、计数和翻转任务，并提升语言建模和编码任务的困惑度。动态位置编码（DPE）通过新位置嵌入纠正目标单词位置信息，在英德法意翻译任务中取得显著性能提升。
Decoupled Positional Attention与PINE的机制与效
Decoupled Positional Attention将位置和段信息编码为Transformer模型，提高了训练和推理效率，在GLUE、XTREME和WMT基准测试中实现竞争性表现，并可推广到远程transformers。PINE通过改变因果注意力为段落间双向关注，利用模型关注值决定段落相对顺序，实现段落级位置不变推理，消除位置偏差，提升下游任务性能和可靠性。
Q&A
什么是并行迭代编辑（PIE）模型？
并行迭代编辑（PIE）模型是一种解决本地序列转导问题的模型，旨在提升速度和准确性，通过预测编辑而非令牌来捕获依赖关系。
PIE模型如何提高大型语言模型的性能？
PIE模型通过迭代优化预测、使用标记序列而非生成序列，并利用预先训练的语言模型如BERT来提高性能。
上下文位置编码（CoPE）有什么优势？
上下文位置编码能够实现更一般的位置指定，解决选择性复制、计数和翻转任务，提高语言建模和编码任务的困惑度。
动态位置编码（DPE）如何改善翻译任务的表现？
动态位置编码通过新的位置嵌入纠正目标单词的位置信息，在英德法意四种翻译任务中取得显著性能提升。
Decoupled Positional Attention机制的作用是什么？
Decoupled Positional Attention机制将位置和段信息编码为Transformer模型，提高训练和推理效率，并在多个基准测试中实现竞争性表现。
段落级的位置不变推理（PINE）是如何实现的？
段落级的位置不变推理通过改变因果注意力为段落之间的双向关注，消除位置偏差，从而提高模型在下游任务中的性能和可靠性。
