QLess: A Quantized Method for Data Valuation and Selection in Fine-Tuning Large Language Models

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出QLess方法,旨在解决大语言模型微调中因计算成本限制导致的数据选择效率问题。QLess结合梯度量化与LESS框架,通过两步压缩实现高效数据选择,实验结果表明其在数据估值质量上表现优异,且具备良好的可扩展性。

🏷️

标签

➡️

继续阅读