英特尔将1.58比特大语言模型压缩至1.485比特，且未改动任何权重
内容提要
英特尔研究人员提出BITCOS存储格式，在不改变三元模型的情况下将权重压缩至每权重1.485比特，低于1.58比特的理论下限。该格式分别存储非零权重的位置和符号，利用三元模型中大量零值（占29.7%至51.5%）节省空间，解码吞吐量在CPU上最高提升18%，GPU上最高提升27%。测试仅限英特尔硬件，尚未经同行评审。
延伸解读
BITCOS如何突破1.58比特下限
1.58比特是三元权重（-1、0、+1）等概率出现时的理论下限，但实际模型中零值占比很高。BITCOS利用这一稀疏性，将非零权重的位置和符号分开存储：每个权重用1比特标记是否为零，非零权重再额外用1比特记录符号。因此，零权重仅占1比特，非零权重占2比特。若零值比例为z，则平均每权重比特数为2-z。当零值超过37.5%时，BITCOS就比传统的五进制打包（1.625比特/权重）更紧凑。
实测压缩效果与硬件差异
在29个三元模型检查点中，零值占比在29.7%到51.5%之间，其中26个检查点的零值比例足以让BITCOS优于五进制打包。最稀疏的模型（Qwen3-1.7B的三元版本）零值达51.48%，BITCOS将其压缩至1.485比特/权重。解码吞吐量方面，在64核Xeon上提升10%-18%，24核Core Ultra 9上提升2%-15%，集成Arc 140V提升9%-22%，独立Arc Pro B70提升2%-27%。但在八核Lunar Lake CPU上，固定2比特内核反而更快，因为该平台带宽充足，解包成为瓶颈。
适用场景与当前局限
BITCOS专为小批量、逐令牌解码设计，通过减少内存中移动的权重数据来加速推理，适合AI代理等对延迟敏感的场景。然而，该格式目前仅在英特尔硬件上测试，尚未在英伟达、AMD或Arm平台上验证；论文也未经同行评审，端到端基准仅覆盖七个模型且批次大小为1。此外，在带宽充足的CPU上，BITCOS可能因解包开销而失去优势，实际收益取决于工作负载是受计算、内存还是带宽限制。
Q&A
BITCOS是什么？它如何在不改变模型权重的情况下压缩三元模型？
BITCOS是英特尔研究人员提出的存储格式，全称“BITmap and COmpacted Signs”。它将权重分为两个流：第一个流为每个权重分配1比特记录是否为零，第二个流仅为非零权重分配符号位。这样，零权重只需1比特，非零权重需2比特。若零权重比例为z，则平均每权重使用2−z比特。由于三元模型中零权重占比高（29.7%至51.5%），该格式可将存储压缩至每权重1.485比特，且解包后恢复原始-1、0、+1值，不影响模型输出。
为什么1.58比特被认为是三元模型的理论下限？BITCOS如何突破这个下限？
1.58比特是表示三个等概率选项（-1、0、+1）所需的理论最小比特数，计算为log2(3)≈1.58。但该假设要求三个值使用频率相同。实际三元模型中零权重占比很高（29.7%至51.5%），BITCOS利用这一稀疏性，分别存储非零权重的位置和符号，使零权重只占1比特，从而将平均比特数降至1.485，低于理论下限。
BITCOS相比传统五进制打包（five-trit packing）有什么优势？在什么条件下更优？
传统五进制打包将5个三元值装入一个8比特字节，平均每权重1.6比特，但由于块大小128导致实际为1.625比特。BITCOS在零权重比例超过37.5%时，存储开销低于五进制打包。英特尔检查的29个检查点中，26个满足此条件。最稀疏的模型（Qwen3-1.7B三元版）零权重占51.48%，BITCOS将其压缩至1.485比特/权重。
BITCOS在CPU和GPU上的解码吞吐量提升效果如何？有哪些测试结果？
在AVX-512硬件上，BITCOS相比2比特内核，在64核Xeon服务器上快10%至18%，在24核Core Ultra 9上快2%至15%。在GPU上，集成Arc 140V提升9%至22%，独立Arc Pro B70提升2%至27%。但在8核Lunar Lake CPU上，固定2比特内核反而更快，因为带宽充足使解包成为瓶颈。
BITCOS的实现细节：在CPU和GPU上分别使用了什么技术来解包？
在AVX-512 CPU上，内核使用存在位图作为掩码，并用pdep指令将压缩的符号位散布到非零权重位置。由于Xe2 GPU缺少等效指令，英特尔用2KB查找表实现相同操作。这些解包内核针对小批量逐令牌解码优化，减少内存中移动的权重数据。
BITCOS的测试有哪些局限性？是否经过同行评审？
该论文尚未经过同行评审。所有五个测试系统均使用英特尔硬件，端到端基准测试覆盖7个模型，批量大小为1。英特尔尚未在Nvidia、AMD或Arm硬件上测试该格式。此外，在8核Lunar Lake CPU上BITCOS未表现出优势。
