白山云科技推出“大模型API”,提供多款低延时、稳定的API服务,降低AI应用成本。通过边缘推理,支持高实时性和高性价比场景,推动“云-边-端”协同智能,助力企业智能化转型。
本研究提出了一种基于拍卖的边缘推理定价机制(AERIA),有效解决了深度神经网络推理服务的个性化需求与收益激励之间的矛盾。实验结果表明,AERIA在收益最大化方面显著优于其他方法。
本研究提出了优化推理系统Bitnet.cpp,解决了三元大型语言模型在边缘推理中的效率问题。该系统采用新型混合精度矩阵乘法库,实现了高效无损推理,速度比全精度快6.25倍,推动了该领域的发展。
该文综述混合专家(MoE)语言模型研究,涵盖将MoE压缩为稠密模型、参数卸载运行Mixtral-8x7B、提出MEO降低计算成本、EdgeMoE实现边缘高效推理、发布650M至34B开源MoE模型,并发现路由主要依赖标记ID、早期确定且末尾易丢弃。
本文综述了早期退出与拆分计算技术,包括EENet多目标推理框架、Exit Predictor延迟感知边缘推理、ConsistentEE强化学习退出、HashEE哈希预测、SplitEE在线无监督学习及I-SplitEE等方法,旨在资源受限设备上平衡推理精度与计算成本。
完成下面两步后,将自动完成登录并继续当前操作。