本研究分析了视觉变压器在标签噪声条件下的表现,结果显示大模型在分类准确性和校准效果上优于小模型,为资源受限环境的应用提供了指导。
本文研究了在稀缺和高度可变环境中,航空图像分类的符合预测方法。通过微调预训练模型,发现符合预测能够在复杂任务中提供有价值的不确定性估计,并强调模型压缩技术在资源受限环境中的潜力。
本研究探讨了知识蒸馏方法在资源受限环境中对小型语言模型性能和可解释性的影响,提出的新方法显著提升了模型表现,为大规模语言模型的应用奠定了基础。
本研究提出了NoWag框架,旨在解决大型语言模型在资源受限环境中的应用问题。NoWag实现了无损形状保留压缩,显著优于现有的向量量化和修剪方法,为未来研究提供了新思路。
本研究提出了一种统一的自回归框架(UAR-NVC),旨在解决隐式神经表示方法在视频压缩中的内存消耗问题。该框架通过将视频划分为多个片段并使用不同的神经模型实例,有效降低训练和推理过程中的内存需求,从而在资源受限环境中显著提高视频压缩性能。
本研究提出了一种结合显著性引导训练与量化技术的深度神经网络学习方案,旨在提高资源受限环境下模型的可解释性和效率,且不损失准确性。
Liquid AI由MIT前研究人员创立,推出了Liquid Foundation Models(LFM),挑战Transformer架构。LFM基于液态神经网络,灵感来自线虫神经结构,具备高效性和可解释性,适用于多模态数据和资源受限环境。计划在金融和医学领域应用,2024年发布。
大型语言模型(LLMs)在自然语言处理领域取得显著进展。为了解决资源受限环境中的挑战,提出了一种双重方法:将LLMs的自我评价能力提取到SLMs中,采用综合的蒸馏过程。实验表明,该方法显著提高了蒸馏SLMs的性能。
大型语言模型(LLMs)在自然语言处理领域取得显著进展。提出了一种双重方法来解决资源受限环境中的部署问题。该方法将LLMs的自我评价能力提取到SLMs中,减少错误推理和幻觉的影响,并通过综合的蒸馏过程将知识转移至SLMs中。实验表明,该方法显著提高了蒸馏SLMs的性能。
完成下面两步后,将自动完成登录并继续当前操作。