本文提出了一种随机跨层注意力机制，以优化变换器语言模型中的键值（KV）缓存管理。通过随机选择使用自身或前一层的KV状态，减少内存占用，同时保持模型性能。这种方法在预训练或微调阶段有效，尤其在数据受限的情况下表现出正则化效果。