CSR：通过稀疏表示实现1比特键值缓存
原文中文，约700字，阅读约需2分钟。
📝
内容提要
本研究提出了一种缓存稀疏表示(CSR)方法，以解决大语言模型在长文本应用中的内存使用问题。通过将密集键值缓存转化为稀疏索引和权重，提升了内存效率，并引入NeuralDict自动生成字典。实验结果表明，CSR在内存受限环境中表现优异。
🏷️
