傅里叶研究热传导的正弦余弦函数，现被用于大语言模型的位置编码。注意力机制不感知词序，需将位置转为数值表示。正弦余弦编码具有多频率、有界、平移一致的特点，模型经训练可借此理解语序；RoPE则将其用于旋转查询和键。