月之暗面发布了名为MoBA的注意力机制论文，提出通过块稀疏注意力提升大语言模型（LLM）处理长序列的效率。MoBA结合混合专家原理，动态选择关注的上下文块，显著降低计算成本并提升性能。实验结果显示，MoBA在处理长文本时表现优异，效率较传统注意力机制显著提高。