何恺明团队推出新论文MiniT2I,探索文生图生成。该模型基于MM-JiT架构,仅用258M参数,训练成本相当于一次标准ImageNet实验。MiniT2I通过直接在像素空间生成图像,简化了模型结构,去掉了VAE等复杂模块,显著降低计算开销。实验结果显示,MiniT2I在性能上超过多款大型模型,展现出强大竞争力。
近年来,生成式深度学习在蛋白质设计领域取得了进展。RFdiffusion3(RFD3)模型能够生成与非蛋白质组分相互作用的蛋白质三维结构,简化了原子级约束,降低了计算开销,展现了广泛的适用性。
RFdiffusion3(RFD3)是诺奖得主David Baker团队开发的新型蛋白质设计模型,能够在复杂的非蛋白质环境中生成蛋白质的三维构象。该模型显式建模所有聚合物原子,简化了原子级约束,适用于酶设计等任务,并显著降低计算开销。
大型语言模型在长上下文应用中面临GPU内存瓶颈,提出了交换向量量化(CommVQ)方法,通过轻量编码器和代码本压缩KV缓存,显著降低内存使用。该方法结合旋转位置嵌入和期望最大化算法,减少计算开销并保持高准确性。实验结果显示,2位量化下FP16 KV缓存大小减少87.5%,1位量化时准确性损失极小,使得在单个RTX 4090 GPU上运行LLaMA-3.1 8B模型成为可能。
本研究提出自适应自我恢复推理(ASRR)框架,旨在解决大型推理模型在简单任务中因冗余推理而产生的计算开销问题。ASRR通过抑制不必要的推理,实现隐式恢复,显著提高推理效率和安全性。实验结果表明,ASRR在多个基准测试中有效减少推理预算,提升效率,且性能损失微小。
本研究提出自我调节微调(SBT)框架,旨在解决大型推理模型的过度思考问题。该方法通过内部调节推理过程,减少冗余推理,降低计算开销,令牌消耗减少高达60%,同时保持准确性。
本研究提出LLaCTR方法,解决了现有LLM在大规模实例中点击率预测的计算开销问题。通过自监督微调提取轻量级语义知识,LLaCTR在有效性和效率上优于现有方法,展现出良好的应用潜力。
本研究提出了一种高效的迭代数据选择框架LEAD,旨在降低计算开销。LEAD通过准确估计样本效用,消除额外的模型推理需求,从而显著提升模型性能并缩短训练时间。
本研究提出了一种新方法,通过在小数据集上搜索量化策略并推广到大规模数据集,解决了混合精度量化方法的计算开销问题。实验结果表明,该方法在CIFAR10数据集上达到了与ImageNet相当的准确度,同时显著降低了计算成本,效率提高了150%。
本研究提出了一种新的数据混合策略,解决了现有方法在预定数据领域和计算扩展性方面的不足。在R%计算开销下,该策略的性能达到了或超过了最先进的水平。
本研究提出了一种轻量级验证方法LiLaVe,旨在降低大语言模型验证器的计算开销和资源消耗。LiLaVe通过提取基础LLM的隐藏状态中的正确性信号,显著提升生成任务的准确性和效率,适用于推理密集型应用。
本研究总结了高效推理的最新进展,针对复杂逻辑任务的高计算开销,提出了压缩推理链、开发紧凑语言模型和提升推理速度三种解决方案。
本研究提出了“必要时才争辩”框架,以降低多智能体协作在提升大型语言模型推理能力时的计算开销和错误风险。该框架通过选择性激活争辩过程,提高效率并保持或超越现有系统性能,实验结果表明其能减轻错误传播,促进可靠响应的整合。
本研究提出了一种新的参数高效调优(FPET)方法,旨在解决大型预训练模型的推理延迟和计算开销问题。FPET通过引入令牌冗余减少模块,提高了推理速度和训练效率,同时保持高存储效率,实验结果表明其在推理速度和内存效率上优于传统方法。
本文提出了一种混合级指令注入策略(HICom),旨在降低多模态大语言模型处理视频帧的计算开销。HICom通过指令条件指导压缩,保留用户关注的信息。实验结果表明,HICom在减少令牌的同时,视频理解能力显著提升,性能平均提高2.43%,并节省了78.8%的令牌。
本研究探讨了大型语言模型(LLMs)在复杂任务中的推理效率,特别是长推理链的计算开销。论文系统性调查了提升LLMs推理效率的多种方法,包括模型、输出和输入提示的优化,以及高效数据的培训。
本研究提出了SenseExpo框架,基于轻量级预测网络,克服了传统方法在计算开销和环境泛化方面的局限性。在KTH数据集上,该框架实现了约67.9%的时间缩减,表现显著优于类似方法。
本文提出了一种元推理器框架,旨在优化大语言模型的推理时间和计算开销。该框架基于人类元认知理论,通过动态推理优化机制,灵活评估推理进展并选择最佳策略,从而提高推理效率,适用于推理密集型任务。
本研究提出FR-Spec框架,解决了大词汇量语言模型推测采样效率低的问题。该方法通过压缩词汇空间和优化候选选择,减少了75%的计算开销,同时保持输出一致性。实验结果表明,FR-Spec在多个数据集上相较于EAGLE-2实现了1.12倍的加速。
本研究提出了一种新的成对Shapley值框架,旨在解决可解释人工智能中的可解释性和可扩展性问题。该方法通过比较特征归因与数据实例对,提供更直观的解释,降低计算开销,提升XAI的实际应用能力。
完成下面两步后,将自动完成登录并继续当前操作。