小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
网易游戏如何在Kubernetes上实现30秒的LLM冷启动

在网易游戏,我们发现大语言模型(LLM)推理的关键在于数据传输速度。通过使用Fluid,我们将模型加载时间从42分钟缩短至3分钟,显著提高了推理效率。同时,Fluid支持跨命名空间共享模型,减少内存浪费,简化操作,使得在Kubernetes上进行LLM推理变得可行且高效。

网易游戏如何在Kubernetes上实现30秒的LLM冷启动

Cloud Native Computing Foundation
Cloud Native Computing Foundation · 2026-05-21T11:00:00Z
网易游戏如何将大语言模型冷启动时间从42分钟缩短至30秒

网易游戏在大语言模型推理中面临挑战,发现数据加载速度至关重要。通过使用Fluid项目,模型加载时间从42分钟缩短至3分钟,显著提升了推理效率并降低了成本。Fluid的共享缓存模型减少了内存浪费,简化了操作,使得在Kubernetes上进行LLM推理成为可能。

网易游戏如何将大语言模型冷启动时间从42分钟缩短至30秒

The New Stack
The New Stack · 2026-05-06T13:00:00Z
国产多模态Agent拿下医学分割SOTA!不用改模型、不加token

浙江大学和上海人工智能实验室提出的IBISAgent框架,将医学图像分割重新定义为多步视觉决策过程,克服了现有方法的局限。通过冷启动和强化学习,IBISAgent在多个基准测试中显著提升了分割性能,展示了自主多轮交互推理的优势,为智能医学图像分析奠定了基础。

国产多模态Agent拿下医学分割SOTA!不用改模型、不加token

量子位
量子位 · 2026-04-22T07:17:04Z
谷歌将AutoFDO部署到安卓内核 可以缩短冷启动应用和开机时间

谷歌将自动反馈导向优化(AutoFDO)应用于安卓内核,提升系统性能,缩短冷启动和开机时间,应用切换更快,几何平均性能提升10.5%。目前支持Android 16-6.12和Android 15-6.6,未来将扩展至更多版本。

谷歌将AutoFDO部署到安卓内核 可以缩短冷启动应用和开机时间

蓝点网
蓝点网 · 2026-03-14T02:30:53Z

在Go与Node.js的性能对比中,Go在冷启动和内存占用方面表现优异,内存使用量仅为Node.js的五分之一,且部署更简便;而Node.js在热启动时更具竞争力。选择编程语言时需平衡性能与工程需求。

性能之战的“罗生门”:Go 重写 Node.js 项目,究竟赢在了哪里?

Tony Bai
Tony Bai · 2026-02-23T16:00:00Z
Weekly Issue-《念念远山》

文章讨论了Agent Sandbox的核心需求,包括快速冷启动、高安全性、支持Python和便捷的镜像构建流程。同时提到Snowsky设备的刷机方式及固件升级风险,强调B端产品经理需关注业务逻辑和异常流程的防御。

Weekly Issue-《念念远山》

Yiran's Blog
Yiran's Blog · 2026-02-22T00:00:00Z
Cloudflare 如何消除无服务器工作负载的冷启动问题

CodeRabbit 是一款 AI 代码审查工具,能够快速提供代码审查和修复建议。Cloudflare 通过工作分片技术将冷启动延迟减少十倍,优化请求路由,提高系统性能。

Cloudflare 如何消除无服务器工作负载的冷启动问题

ByteByteGo Newsletter
ByteByteGo Newsletter · 2026-02-17T16:31:17Z
运行时日志中现已提供函数启动类型

现在,您可以在运行时日志的右侧面板查看Vercel函数调用的启动类型,包括热启动和冷启动,并显示冷启动的持续时间。

运行时日志中现已提供函数启动类型

Vercel News
Vercel News · 2025-12-22T13:00:00Z

Piaf在2017年参与TikTok的全球化工作,见证了其从零到千万日活的成长。她回忆起当时的艰辛与迷茫,强调冷启动和用户增长的重要性。尽管经历了印尼的下架危机,团队依然坚持努力,最终取得成功。她认为,成功源于无数的努力与调整,而非单纯的运气。

TikTok 也曾经很在乎那一万个新增用户

王登科
王登科 · 2025-12-09T02:28:24Z
Python Workers 复兴:快速冷启动、包支持与优先使用 uv 的工作流程

去年推出的Python Workers现已全面支持Pyodide包,冷启动速度显著提升,Cloudflare Workers比AWS Lambda快2.4倍。通过内存快照技术,冷启动时间减少,提升了开发体验,适合多种应用场景的全球部署。

Python Workers 复兴:快速冷启动、包支持与优先使用 uv 的工作流程

The Cloudflare Blog
The Cloudflare Blog · 2025-12-08T06:00:00Z
AWS Lambda托管实例:无服务器灵活性与EC2成本模型的结合

AWS Lambda托管实例是一项新功能,允许在EC2实例上运行Lambda函数,以优化成本并支持稳定工作负载。AWS负责实例的设置和管理,减少冷启动,用户可通过Lambda控制台访问EC2定价模型,享受高达72%的折扣,适合多请求处理。

AWS Lambda托管实例:无服务器灵活性与EC2成本模型的结合

InfoQ
InfoQ · 2025-12-05T10:00:00Z
你的域名后缀拖慢你的网站速度了嘛?——再谈 DNS 冷启动

对于流量较少的小型网站,DNS冷启动是常见现象。选择合适的顶级域名(如.cn或.com)会影响解析速度。测试表明,.cn在中国大陆解析速度最快,但在全球表现不佳,而.com等通用后缀在全球大部分地区表现良好。

你的域名后缀拖慢你的网站速度了嘛?——再谈 DNS 冷启动

竹林里有冰的博客
竹林里有冰的博客 · 2025-11-25T00:00:00Z

DNS解析在网站性能优化中常被忽视,小型站点面临“DNS冷启动”问题,导致延迟增加。通过调整DNS TTL和选择合适的权威DNS服务器,可以缓解这一问题。优化DNS过程有助于提升用户体验。

DNS 冷启动:小型站点的“西西弗斯之石”

竹林里有冰的博客
竹林里有冰的博客 · 2025-11-11T00:00:00Z

生成式推荐(GRs)在过去一年取得显著进展,依托大型语言模型(LLM)提升推荐性能,形成新范式。传统推荐面临特征工程和模型复杂度的瓶颈,而LLM通过长序列建模和知识注入有效解决冷启动问题。未来,GRs将重点关注深度推理、多模态对齐和并行生成优化,重构推荐系统的价值链。

探索无限可能:生成式推荐的演进、前沿与挑战【AI业务应用方向】

FreeBuf网络安全行业门户
FreeBuf网络安全行业门户 · 2025-10-20T08:21:48Z
探索无限可能:生成式推荐的演进、前沿与挑战【AI业务应用方向】

生成式推荐(GRs)在过去一年取得显著进展,利用大型语言模型(LLM)提升推荐性能,形成新范式。传统推荐面临特征工程和模型复杂度的瓶颈,而LLM通过长序列建模和知识注入解决冷启动问题。未来,GRs将专注于深度推理、多模态对齐和并行生成优化,重构推荐系统的价值链,推动智能化发展。

探索无限可能:生成式推荐的演进、前沿与挑战【AI业务应用方向】

京东科技开发者
京东科技开发者 · 2025-10-20T08:16:45Z
Cloudflare通过“Shard and Conquer”一致性哈希技术实现Workers的99.99%热启动率

Cloudflare推出了“Shard and Conquer”技术,显著降低了无服务器平台Workers的冷启动率,减少了10倍。该技术通过一致性哈希环集中流量到单个“分片服务器”,保持Worker实例持续温暖。同时,Cloudflare放宽了平台限制,以支持更复杂的应用程序,并解决冷启动频率问题。

Cloudflare通过“Shard and Conquer”一致性哈希技术实现Workers的99.99%热启动率

InfoQ
InfoQ · 2025-10-10T10:00:00Z
消除冷启动 2:分片与征服

Cloudflare Workers五年前推出预热技术以减少冷启动,最近引入“Worker分片”机制,通过一致性哈希环优化请求路由,热请求率从99.9%提升至99.99%,冷启动率下降十倍,显著提高系统效率。

消除冷启动 2:分片与征服

The Cloudflare Blog
The Cloudflare Blog · 2025-09-26T13:00:00Z
规模化到单个用户:Fluid如何解决冷启动问题

Vercel通过保持实例运行等优化措施,解决了传统无服务器架构的冷启动问题,99.37%的请求无冷启动,提升了响应速度,确保用户首次访问体验流畅,适用于各种规模的应用。

规模化到单个用户:Fluid如何解决冷启动问题

Vercel News
Vercel News · 2025-09-18T13:00:00Z
卡车司机命不值钱?俄罗斯禁售中国重卡六大罪状:冷启动失败率23%、保温仅61%、防腐不足。被理想i8怼的乘龙卡车减重2吨,以减重著称,被理想挑中,不是没有原因的。

理想汽车L8与乘龙卡车的碰撞测试引发争议,因乘龙卡车在俄罗斯被禁售,主要是由于制动、噪音和安全标准不达标。中国卡车以减重和低价著称,但其质量和安全性受到质疑。理想汽车股价暴跌后采取降价应对,而乘龙卡车则因测试获得关注。

卡车司机命不值钱?俄罗斯禁售中国重卡六大罪状:冷启动失败率23%、保温仅61%、防腐不足。被理想i8怼的乘龙卡车减重2吨,以减重著称,被理想挑中,不是没有原因的。

硕鼠的博客站
硕鼠的博客站 · 2025-08-07T01:01:58Z
边缘函数的持久存储与高达97%的冷启动加速

Edge Functions现已支持S3协议的持久文件存储,简化文件操作,并实现高达97%的冷启动加速。新配置提高了数据处理效率,特别是在IoT应用中,同时优化的启动时间和同步API增强了功能可用性。

边缘函数的持久存储与高达97%的冷启动加速

Blog - Supabase
Blog - Supabase · 2025-07-18T07:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码