vLLM Blog ·

超越移植：vLLM如何在AMD ROCm上协调高性能推理

💡 原文英文，约100词，阅读约需1分钟。

📝

内容提要

处理部分构建KV缓存请求的额外提示侧令牌，关注缓存上下文与新输入，属于混合工作负载。在线服务中，调度程序利用此阶段将长提示工作分解，并与其他请求的解码交错，以提高延迟和吞吐量的整体平衡。

🎯

🏷️

扩展人类判断：Dropbox如何利用大型语言模型提升RAG系统的标注效率
Dropbox通过结合人类标注和大型语言模型（LLMs）生成的标签，提升了文档检索的相关性和标注效率。尽管LLM存在局限性，但人类校准显著改善了RAG系统的性能。
索尼似乎正在对PlayStation游戏进行动态定价测试
PSprices网站发现索尼数字游戏商店对不同用户的游戏价格存在差异，这些优惠通过PlayStation API中的实验标识符进行跟踪。
人工智能是否正在消灭开源软件？
人工智能并未消灭开源软件，但正在改变其基本假设。AI带来了更多噪音和问题，尽管开发者能快速生成代码，但维护能力不足。许多项目已更新治理，有的禁止使用AI。...
预订新款MacBook可获得免费礼品卡的时间所剩无几
新的M4芯片iPad Air将于3月11日上市，128GB/Wi-Fi版售价559美元（优惠40美元），LTE版709美元（优惠40美元），256GB/W...
EP205：CPU与GPU与TPU的比较
支持多客户端，网页和移动应用可请求不同数据。网页客户端使用GET /v2/home获取详细信息，移动客户端使用GET /v1/home获取轻量响应。网关负...
Vizio账户将变为沃尔玛账户
Vizio邮件表示，账户删除后30天内可请求数据，逾期可能无法获取。合并账户选项目前仅限新购电视，未来将扩展至现有用户。