多模态推理采用EPD拆分,将视觉编码、预填充、解码分队列调度,以缓解图片请求阻塞文字请求的队头阻塞。NVIDIA测试显示,图片密集负载下首字延迟最高快5倍,但长输出或轻媒体收益小甚至倒退。该方案适合多图、短答、混合流量场景;单图、长输出、低并发不宜拆分。
本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级,因此设计围绕复用展开:单实例内通过块哈希实现前缀缓存;KV池采用write-back策略在GPU、DRAM、SSD间分层存储;集群层面用一致性哈希实现缓存亲和,并按请求类别分配预算以应对长请求突发。
本研究提出了CONSTRUCTA框架,利用大型语言模型(LLM)自动化商业建筑施工调度,解决了传统调度中的复杂性和人工干预不足的问题。该框架通过整合建筑知识和上下文采样技术,显著提升了调度优化性能,展示了在建筑工作流变革中的潜力。
本研究探讨了自然语言指令中的模糊时间要求对传统机器人系统的挑战,并提出了“模糊技能”以优化调度。研究结果表明,梯形函数能够有效近似用户对执行时间的满意度,且用户对未来执行要求表现出更大的宽容度。
本研究探讨了多智能体强化学习(MARL)在不相关并行机器调度中的应用,并比较了MARL与单智能体算法的表现。结果表明,多智能体PPO算法在可扩展性方面表现良好,但在协作学习上面临挑战,为调度优化提供了新视角。
RT-Preempt 补丁使 Linux 内核几乎完全可抢占,提升系统实时性。通过调整锁机制和线程化中断,确保高优先级任务能及时执行,解决优先级翻转问题,优化内核调度和中断处理。
该文综述多项研究,探讨用深度强化学习优化城市交通调度,方法包括AM-DQN、CVNet、NeurADP及时空强化学习等,应用于打车、共享单车、列车与配送调度。实验表明,这些方法在供需平衡、司机收入、等待时间和需求损失等指标上优于传统启发式,具稳健性与迁移能力。
本文综述约束规划与进化算法在调度优化中的应用,涵盖变量排序、强化学习、超启发式、课程分配和原油调度等问题,并提出多种混合方法以提升求解质量与效率。
该文综述大语言模型高效推理的多项技术:INT4纯权重量化与专用运行时加速CPU推理;PowerInfer利用激活局部性实现GPU-CPU混合推理,降低显存需求;FlightLLM基于FPGA实现高能效推理;多维分区与低级优化提升生成效率;简化结构、融合操作与段落KV缓存降低延迟;LMFlow简化微调与推理;InferLine自动配置预测流水线;FastServe以抢占式调度降低延迟;DeepSpeed Inference支持超大规模异构推理;SPEED并行预测多令牌提升效率。
本文介绍了名为LAUDNet的框架,用于提高深度网络推理效率。该框架集成了三个动态范例,通过算法设计和调度优化来准确衡量动态操作延迟。在多个视觉任务上测试表明,LAUDNet能够显著降低ResNet-101等模型的延迟超过50%,并在准确性和效率之间取得良好的平衡。
完成下面两步后,将自动完成登录并继续当前操作。