本研究提出了一种缓存稀疏表示(CSR)方法,以解决大语言模型在长文本应用中的内存使用问题。通过将密集键值缓存转化为稀疏索引和权重,提升了内存效率,并引入NeuralDict自动生成字典。实验结果表明,CSR在内存受限环境中表现优异。
完成下面两步后,将自动完成登录并继续当前操作。