最近，Ainsworth等人发现使用权重匹配（WM）不能明显减小两个模型之间的距离，但可以使得与大奇异值相关的奇异向量在模型之间更加接近，从而满足线性模态连通性（LMC）。他们还发现WM在合并三个或更多模型时表现更好。

本文介绍了Transformer支持的两种量化方案：bitsandbytes和auto-gptq，分别适用于微调和生成。比较了两种方案的优缺点，提出了一种获得更好合并模型的方法。