小米MiMo团队推出HySparse混合稀疏注意力架构，显著降低KV Cache的存储和计算开销，提升超长上下文建模效率。通过将“选择”和“缓存”交给Full Attention层，HySparse实现了高效的长距离信息访问，实验结果显示其在多项任务中表现优异。

Attention机制可以解决Encoder-Decoder模型框架中的信息瓶颈问题，它由Query、Key和Value三部分组成，可以帮助人们更好地理解信息，同时降低信息处理的难度，具有参数少、速度快、效果好的优势，可以解决长距离信息被弱化的问题。