小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate
图片一多首字就慢?用EPD拆开多模态推理三段路

多模态推理采用EPD拆分,将视觉编码、预填充、解码分队列调度,以缓解图片请求阻塞文字请求的队头阻塞。NVIDIA测试显示,图片密集负载下首字延迟最高快5倍,但长输出或轻媒体收益小甚至倒退。该方案适合多图、短答、混合流量场景;单图、长输出、低并发不宜拆分。

图片一多首字就慢?用EPD拆开多模态推理三段路

Java for You Java for You · 2026-09-13T03:45:24Z
推理服务的缓存与调度:前缀、多级存储、集群路由

本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级,因此设计围绕复用展开:单实例内通过块哈希实现前缀缓存;KV池采用write-back策略在GPU、DRAM、SSD间分层存储;集群层面用一致性哈希实现缓存亲和,并按请求类别分配预算以应对长请求突发。

推理服务的缓存与调度:前缀、多级存储、集群路由

Java不加糖's Blog Java不加糖's Blog · 2026-09-05T23:30:00Z

本研究提出了CONSTRUCTA框架,利用大型语言模型(LLM)自动化商业建筑施工调度,解决了传统调度中的复杂性和人工干预不足的问题。该框架通过整合建筑知识和上下文采样技术,显著提升了调度优化性能,展示了在建筑工作流变革中的潜力。

CONSTRUCTA: Automating Construction Scheduling in Commercial Building Fabrication Facilities Using Large Language Models

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-02-17T00:00:00Z

本研究探讨了自然语言指令中的模糊时间要求对传统机器人系统的挑战,并提出了“模糊技能”以优化调度。研究结果表明,梯形函数能够有效近似用户对执行时间的满意度,且用户对未来执行要求表现出更大的宽容度。

Robot Tasks with Fuzzy Time Requirements in Natural Language

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-11-14T00:00:00Z

本研究探讨了多智能体强化学习(MARL)在不相关并行机器调度中的应用,并比较了MARL与单智能体算法的表现。结果表明,多智能体PPO算法在可扩展性方面表现良好,但在协作学习上面临挑战,为调度优化提供了新视角。

Exploring the Application of Multi-Agent Reinforcement Learning in Unrelated Parallel Machine Scheduling

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-11-12T00:00:00Z
RT-Patch学习

RT-Preempt 补丁使 Linux 内核几乎完全可抢占,提升系统实时性。通过调整锁机制和线程化中断,确保高优先级任务能及时执行,解决优先级翻转问题,优化内核调度和中断处理。

RT-Patch学习

plus studio plus studio · 2024-08-12T23:16:00Z

该文综述多项研究,探讨用深度强化学习优化城市交通调度,方法包括AM-DQN、CVNet、NeurADP及时空强化学习等,应用于打车、共享单车、列车与配送调度。实验表明,这些方法在供需平衡、司机收入、等待时间和需求损失等指标上优于传统启发式,具稳健性与迁移能力。

通过动态班次延长改进众包末端配送的快递员调度:一种深度强化学习方法

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-15T00:00:00Z

本文综述约束规划与进化算法在调度优化中的应用,涵盖变量排序、强化学习、超启发式、课程分配和原油调度等问题,并提出多种混合方法以提升求解质量与效率。

基于遗传约束编程的资源受限作业调度

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-01T00:00:00Z

该文综述大语言模型高效推理的多项技术:INT4纯权重量化与专用运行时加速CPU推理;PowerInfer利用激活局部性实现GPU-CPU混合推理,降低显存需求;FlightLLM基于FPGA实现高能效推理;多维分区与低级优化提升生成效率;简化结构、融合操作与段落KV缓存降低延迟;LMFlow简化微调与推理;InferLine自动配置预测流水线;FastServe以抢占式调度降低延迟;DeepSpeed Inference支持超大规模异构推理;SPEED并行预测多令牌提升效率。

Inferflow:一个高效和高度可配置的大语言模型推理引擎

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-16T00:00:00Z

本文介绍了名为LAUDNet的框架,用于提高深度网络推理效率。该框架集成了三个动态范例,通过算法设计和调度优化来准确衡量动态操作延迟。在多个视觉任务上测试表明,LAUDNet能够显著降低ResNet-101等模型的延迟超过50%,并在准确性和效率之间取得良好的平衡。

面向高效图像识别的低延迟统一动态网络

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-08-30T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码