RSQ：从重要词元学习以获得更好的量化大型语言模型

本研究解决了以往层级量化方法未能有效利用重要词元的问题，提出了一种新方法RSQ，通过优先学习重要词元的信息以提高量化模型的性能。实验证明，RSQ在多个下游任务和三种模型家族上均优于基线方法，特别是在长上下文任务中的表现尤为突出，显示了其广泛的适用性和潜在影响。