本研究引入了基于锚点的LLM模型，利用创新的自注意力网络和推理策略，将序列信息压缩到锚点令牌中，提高推理效率。AnLLM在保持可比精度的同时缩减了99%的键/值缓存，并实现了3.5倍的更快推理速度。AnLLM在计算效率和资源利用方面具有显著改善，展示了锚点式注意力方法在实时推理中的潜力。