本文探讨了长上下文模型的工程挑战与解决方案，包括位置编码、注意力计算复杂度、训练策略和推理优化。随着上下文长度增加，模型面临计算复杂度和显存限制。采用RoPE、YaRN等技术扩展位置编码，并结合线性注意力和稀疏注意力优化计算效率。在训练方面，采用短预训练与长继续预训练相结合的策略，推理时利用前缀缓存和KV压缩等技术提高效率。

本研究提出了一种二维语义感知位置编码（$ ext{SaPE}^2$），有效解决了现有位置编码无法捕捉图像补丁间语义关系的问题，从而显著提升了模型的泛化能力和视觉任务性能。

本研究探讨了音乐生成中高效位置编码（PE）的应用挑战，并比较了不同的PE方法。提出的新方法RoPEPool通过提取时间序列的因果关系并结合结构先验，在旋律和声化任务中表现出优越性。

本研究提出了一种新型位置编码方法STRING，克服了大型语言模型中旋转位置编码的局限性。STRING在保持低计算开销的同时，实现了精确的平移不变性，并在视觉变换器中应用，显著提升了开放词汇物体检测和机器人控制的效果。

本文研究了奇偶性语言的识别问题，提出了一种新型三层变压器，其参数矩阵和位置编码与输入长度无关，显著改进了Chiang和Cholak的构造，提高了处理效率和简洁性。

本研究提出了一种新方法，通过结合二次长度差异的位置编码（LDPE）在输入嵌入中，解决大语言模型生成结构化输出时的响应长度控制问题。实验结果表明，该方法能够在不影响响应质量的前提下，实现精确的长度控制。

本研究探讨了BFloat16格式与Rotary Positional Embedding（RoPE）结合时在长上下文训练中的数值问题。通过开发AnchorAttention方法，解决了位置编码偏差，提升了长上下文处理能力，训练时间缩短超过50%，同时保持了大型语言模型的任务能力。

本研究探讨了图神经网络(GNNs)和图变压器(GTs)中位置编码(PEs)的孤立性问题，建立了统一框架来评估PEs的应用，并引入了稀疏化GRIT注意机制，发现新GNN架构与PEs的结合能够超越现有方法。

本研究分析隐式神经表示（INR）的技术缺口，建立分类体系，比较不同方法的优缺点，并为未来研究提供方向，特别关注激活函数、位置编码和高维数据的可扩展性。

本研究质疑传统位置编码在大语言模型中的长期衰减假设，提出高频旋转位置编码（HoPE），以优化位置和语义表示，增强模型的上下文意识和外推能力。

我们介绍了一系列支持高达32,768个令牌的长上下文LLMs。通过持续预训练，这些模型在长文本数据集上表现优异，尤其在长上下文任务中显著超越Llama 2。70B变体在长任务中超过gpt-3.5-turbo-16k。我们分析了位置编码的局限性及预训练设计选择的影响，验证了长上下文持续预训练的有效性。

我们开发了支持32,768个令牌的长上下文语言模型，通过持续预训练提升了长文本处理能力。模型在语言任务和研究基准上表现优异，尤其在长上下文任务上超越了Llama 2和gpt-3.5-turbo-16k。研究发现，长上下文预训练比从头开始的长序列预训练更高效，并分析了位置编码和预训练设计对性能的影响。

研究发现，变换器在层次语言识别与生成中，即使没有特定位置编码，也能有效处理层次结构。因果掩蔽和起始标记有助于计算位置和深度，而显式位置编码可能影响序列长度的泛化能力。