彩票大模型假设:重新思考大模型压缩应保留的能力
📝
内容提要
本研究针对当前大模型压缩方法普遍关注压缩后性能的不足,提出了彩票大模型假设,认为存在可以与原模型相媲美的更小模型,借助多步骤推理和外部工具实现。该研究指出现有方法在压缩大模型时忽视的关键能力,有望推动大模型压缩领域的进一步发展。
🏷️
标签
➡️