本研究提出LENS，解决了传统因果大型语言模型在词元冗余和单向注意力方面的限制。LENS通过词元嵌入聚类和双向注意力机制，提高了词典匹配效率，并在文本嵌入基准测试中优于密集嵌入。
编码器-解码器和仅解码器模型是自回归模型，具有不同的优缺点。去噪目标可作为因果语言模型的补充。双向注意力对较小规模模型有帮助。BERT模型已被弃用，取而代之的是更灵活的去噪T5模型。
完成下面两步后，将自动完成登录并继续当前操作。
