小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate
共享内存IPC缓存:加速LLM推理系统中的数据传输

Cohere为vLLM项目引入共享内存IPC缓存机制,显著提高了大规模LLM推理效率。首次请求的预填吞吐量提升11.5%,缓存请求提升69.9%。该机制特别适合处理大型多模态输入,增强了系统的可扩展性和性能。

共享内存IPC缓存:加速LLM推理系统中的数据传输

vLLM Blog
vLLM Blog · 2025-11-13T00:00:00Z

本文讨论了Linux中的System V进程间通信(IPC)机制,展示了使用共享内存进行数据传输的示例代码,包括写入和读取过程,并分析了相关警告信息,强调了学习中的迭代重要性。

Linux系列:聊一聊 SystemV 下的进程间共享内存

dotNET跨平台
dotNET跨平台 · 2025-05-11T00:04:05Z

本文讨论了Linux中System V进程间通信的实现,介绍了共享内存的基本概念及示例代码。通过创建writer和reader进程,展示了共享内存的数据传输,并分析了相关警告信息。作者在学习中不断积累新知识,享受这一过程。

Linux系列:聊一聊 SystemV 下的进程间共享内存 - 一线码农

一线码农
一线码农 · 2025-05-10T03:02:00Z
Go 切片与子切片:理解共享内存与避免 `append()` 陷阱

在Go语言中,切片是一种灵活的数据结构,支持动态调整大小。切片引用底层数组,多个切片共享同一数组,修改一个切片会影响其他切片。使用append()时需注意容量,超出容量会创建新数组。最佳实践包括显式管理内存和使用完整切片表达式,以避免意外修改原始数据。

Go 切片与子切片:理解共享内存与避免 `append()` 陷阱

DEV Community
DEV Community · 2025-01-28T15:36:25Z
ERC-4337共享内存池:在以太坊主网、Arbitrum和Optimism上的正式上线

ERC-4337引入账户抽象,提升Web3用户体验。新实体“捆绑器”将多个用户操作整合为单一交易,支持去中心化。共享内存池提高网络效率和可靠性,避免单点故障,促进以太坊生态系统的可持续发展。

ERC-4337共享内存池:在以太坊主网、Arbitrum和Optimism上的正式上线

DEV Community
DEV Community · 2024-11-12T09:01:56Z
Jesse Soyland:Postgres故障排除 - 磁盘已满错误无法调整共享内存段

Postgres错误与共享内存调整和磁盘空间满错误相关,可能在运行应用程序或ORM时发生。这些错误通常是由于共享缓冲区不足而引起的,而不是实际的磁盘空间问题。哈希表通常是这些错误的主要原因。优化查询,添加索引和调整work_mem设置可以帮助解决这些错误。如果错误持续存在,可能需要向机器添加更多内存。

Jesse Soyland:Postgres故障排除 - 磁盘已满错误无法调整共享内存段

Planet PostgreSQL
Planet PostgreSQL · 2024-08-09T12:00:00Z

谷歌Chrome浏览器通过共享内存版本系统改进了Cookies的获取和保存方式,提高了访问速度。该改进从2024年3月份开始默认启用,性能提升了5%。共享内存版本系统减少了80%的消息数量,提高了60%的访问速度。开发者还需进行优化,如使用Core Web Vitals测试网站性能。

谷歌Chrome推出新的共享内存版本控制系统 尽可能优化网站交互速度

蓝点网
蓝点网 · 2024-06-06T04:57:23Z

本文介绍了处理共享内存银行冲突的技巧,包括填充和交换技术,并给出了示例。作者还介绍了交换公式和属性,并通过实验比较了不同技术的性能差异。

CUDA 共享内存置换

Lei Mao's Log Book
Lei Mao's Log Book · 2024-05-14T07:00:00Z

Shmipc是字节跳动服务框架团队研发的高性能进程间通讯库,基于共享内存构建,具有零拷贝特点,引入的同步机制能提升性能。Shmipc应用于Service Mesh场景下,能在大包和IO密集型场景中获得显著性能收益。本文介绍了Shmipc的设计思路和演进规划,包括零拷贝、同步机制和批量收割IO等。在字节的生产环境中,Shmipc应用于3000+服务、100w+实例,不同业务场景表现出不同收益。文章还提到了一些采坑记录和后续演进计划。欢迎感兴趣的同学参与Shmipc项目的贡献。

字节跳动开源 Shmipc:基于共享内存的高性能 IPC

字节跳动技术团队官方博客
字节跳动技术团队官方博客 · 2023-04-04T04:01:12Z

好久没有更新blog了, 这一年来的工作确实很忙..... anyway, 今天终于有新东西可以和大家分享. 这个idea来自一个很简单的想法, 以及目前所遇到的一个机会. 首先我们来谈谈这个机会. 在以前, 很多人都会选择使用APC, APC除了提供Opcode Cache以外, 还会提供一套User Data...

Yac (Yet Another Cache) - 无锁共享内存Cache

风雪之隅
风雪之隅 · 2013-03-18T08:06:39Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码