本研究提出了一种新方法，通过在小数据集上搜索量化策略并推广到大规模数据集，解决了混合精度量化方法的计算开销问题。实验结果表明，该方法在CIFAR10数据集上达到了与ImageNet相当的准确度，同时显著降低了计算成本，效率提高了150%。

本研究提出了一种新颖的后训练量化方法Pack-PTQ，旨在解决低比特情况下的准确性下降问题。通过自适应打包机制和混合精度量化，Pack-PTQ有效保留了块间依赖性，显著提升了量化性能。实验结果表明，其在2D图像和3D点云分类任务中优于现有技术。

本研究提出了一种新的混合精度后训练量化方法——任务-电路量化（TaCQ），通过将关键任务权重保持为16位，显著提高了在2至3位量化条件下的模型性能，同时仅增加了少量内存开销。

本研究提出了优化推理系统Bitnet.cpp，解决了三元大型语言模型在边缘推理中的效率问题。该系统采用新型混合精度矩阵乘法库，实现了高效无损推理，速度比全精度快6.25倍，推动了该领域的发展。

本研究提出了一种混合精度策略，用于量化FP4精度的训练方法，旨在解决大型语言模型训练中的计算需求问题。实验结果表明，该策略在降低计算成本的同时，能够达到与BF16和FP8相当的准确性。

本文提出了一种新颖的混合精度量化方法，旨在提高语音基础模型的量化效率。该方法结合了混合精度学习与模型参数估计，显著提升了压缩比，缩短了压缩时间，同时保持了单词错误率不变，展现了良好的实际应用前景。

本研究提出了一种新颖的ResQ方法，旨在解决超大语言模型后训练量化中的高量化误差问题。通过主成分分析，ResQ在低秩子空间中优化激活系数，实现最佳混合精度量化，表现优异。

本研究提出SKIM方法，结合K均值聚类与混合精度，优化比特分配，显著提升量化模型性能。3位量化的LLaMA模型困惑度与全精度模型的差距缩小了16.3%。

清华大学PACMAN实验室发布了MixQ开源系统，支持8比特和4比特混合精度推理，实现大模型的近无损量化并提升推理速度。MixQ通过量化权重和激活，利用低精度张量核心加速推理，并提取激活中的离群值以保持准确性。该系统已支持多个主流大模型，并在SC’24会议上发表。其设计通过等价变换、数据结构优化和高性能算子生成，显著提升性能。

本文探讨了大型语言模型中键值（KV）缓存的优化方法，提出了混合精度KV缓存（MiKV）和CSKV技术，以降低内存占用并提高推理效率。这些方法显著减少内存开销，提升吞吐量，同时保持模型性能，达到最高95%的压缩率。

Colossal-AI升级了混合精度训练，支持BF16和FP8方案，实现平均30%加速，降低成本并保证收敛性。FP8通过实时缩放提高效率，适合大模型硬件需求，多卡并行训练效果显著。支持多种并行方式，使用简单，无需额外编译。

本文介绍了一种基于动态更新的FP8线性层缩放方法，旨在提高大型语言模型（如GPT和Llama 2）的训练效率。研究表明，该方法在保持性能的同时，消除了矩阵乘法操作，并通过FP8混合精度训练框架显著降低了内存使用和提高了速度。此外，提出了新的训练方法和信号传播理论，以改善深度模型的训练效果，提升多种任务的性能。

本文探讨了FP8低位数据格式在大规模语言模型训练中的应用，提出了一种新的FP8混合精度框架，显著提高了训练效率和内存使用。实验表明，该方法在H100 GPU上比BF16框架更快，并在多项任务中表现出色，展示了浮点量化在资源受限环境中的潜力。

本文探讨了大型语言模型中的键值缓存压缩技术，提出了混合精度KV缓存（MiKV）和质量自适应量化方案（QAQ），显著提高了缓存效率和生成质量。研究表明，通过多种量化方法，可以在不同模型上减少内存占用并提升推理性能，支持更长的上下文应用。