本文研究了奇偶性语言的识别问题，提出了一种新型三层变压器，其参数矩阵和位置编码与输入长度无关，显著改进了Chiang和Cholak的构造，提高了处理效率和简洁性。

LoRA是一种通过低秩方式调整参数矩阵的方法，用于适应特定任务。它的步骤包括选择目标层、初始化映射矩阵和逆映射矩阵、进行参数变换和模型微调。微软的DeepSpeed-Chat中也使用了LoRA方法。Huggingface的PEFT库封装了LoRA方法，可以高效适应下游任务并降低计算和存储成本。