本研究探讨了在资源和功耗受限的设备上快速部署高光谱成像处理器的方法,特别是在自主驾驶中的应用。通过定制后训练量化方案,轻量级全卷积网络能够在低成本模块上高效运行,同时保持分割精度,从而推动高光谱成像技术在自动驾驶系统中的应用。
该研究提出了多种优化神经网络的方法,如BinaryConnect、三进制权重网络(TWNs)和FLightNNs,旨在提升深度学习性能,减少计算开销和内存使用。研究表明,通过不同的量化方案和混合神经网络结构,在多个数据集上实现了优于传统模型的分类性能和效率,尤其在边缘设备上表现突出。
本文提出了 per-IC 量化和 AdaDim 两种基于权重的量化方案,以解决大型语言模型在小批量推断设置下的内存瓶颈问题。AdaDim 在基础的语言建模基准测试和指导性调优的 LLMs 中都取得了显著的改进效果。
本文介绍了Transformer支持的两种量化方案:bitsandbytes和auto-gptq,分别适用于微调和生成。比较了两种方案的优缺点,提出了一种获得更好合并模型的方法。
完成下面两步后,将自动完成登录并继续当前操作。