#人工智能 谷歌也尝试将模型权重直接蚀刻到硅晶片中，谷歌正在研发的 Frozen v2 芯片 token 吞吐量是谷歌现有 TPU 单元的 6~10 倍。模型权重直接蚀刻到硅晶片中可以减少芯片执行的步骤数和每次查询的数据量，但代价是芯片完成蚀刻后无法再升级模型。谷歌的做法是将模型部分决策蚀刻到晶体管中固定，Gemini 发布新版本后也能继续用。查看全文：https://ourl.co/114010

Kimi背后的技术架构Mooncake刚拿下存储顶会FAST 2025最佳论文，靠把KV Cache分散到全网闲置内存和SSD里，让Kimi在百万字超长上下文场景下多扛住75%的请求量。 Mooncake把KV...

Qdrant在基准测试中表现优于Elastic的DiskBBQ，吞吐量提高了2倍，延迟降低了50%。在相同的召回率下，Qdrant使用更少的CPU和内存资源，显示出更高的效率。Elastic的测试方法未能充分利用Qdrant的特性，导致结果偏差。Qdrant的两阶段检索和异步评分技术显著提升了性能。

GLM 5.2 Fast现已在AI Gateway上线，提供比其他服务商高2倍的吞吐量，适用于小、大上下文场景。使用时需在AI SDK中设置模型为zai/glm-5.2-fast。AI Gateway提供统一API，支持用量跟踪、成本管理及性能优化，无平台费用。

本文介绍了gordma，一个用Go语言封装的RDMA网络库，旨在简化高性能网络编程。RDMA技术通过直接内存访问实现低延迟和高吞吐量，适用于AI训练和金融交易等场景。gordma提供易用的API，支持不同性能需求，用户可选择简单的net风格接口或底层API以获得更高性能。实测数据显示，gordma在400G网络环境下的吞吐量可达392 Gb/s，展示了其强大的性能和灵活性。

小米推出了MiMo-V2.5-Pro-UltraSpeed模型，具备1T参数和1000+ TPS的推理速度，突破了GPU的性能限制。该模型在全栈开发任务中表现优异，能够快速生成高质量的复杂应用，推动了大模型的商业化进程。

文章讨论了延迟、吞吐量和带宽的区别。延迟是数据包从发送者到接收者的时间，吞吐量是每秒成功传输的数据量，而带宽是连接的最大容量。低延迟不一定意味着高吞吐量，三者各自解决不同的问题。此外，文章介绍了谷歌的TPU芯片，专为深度学习设计，具有不同的训练和推理模式。

在新加坡的 PyTorch 会议上，Bugen Zhao 介绍了 vLLM 团队用 Rust 重写 Python 前端的工作，以解决高并发下的性能瓶颈。Rust 前端的吞吐量提升约 5.16 倍，CPU 占用降低，长尾延迟收敛，用户无需额外操作，Rust 二进制文件已打包进 Python Wheel，支持主要 API。

DEKRA德凯近日为联想消费笔记本授予Wi-Fi吞吐量3D场型暨路由环境自适应认证。该认证基于联想的Smart Antenna技术，首次将3D T-PUT均匀性测试与动态路由环境模拟纳入认证体系，测试结果显示联想笔记本在三维均匀性和动态适配方面表现优异，核心性能指标显著高于行业标准。

AI Gateway 允许用户根据成本、首次令牌时间（TTFT）或吞吐量（TPS）对模型提供者进行排序，以优化请求，选择最低成本或最低延迟的提供者。排序在请求时计算，并支持与其他路由选项结合使用，确保高效处理。

基准测试数据库需遵循公平原则，确保客户端与数据库服务器分开，以避免延迟影响结果。选择相似资源，合理配置工作负载，关注查询与写入比例。测试应测量吞吐量和延迟，确保缓存预热，并记录所有配置。避免不当比较，确保可重复性，避免常见错误。

本文探讨了大语言模型（LLM）推理中的成本、延迟和吞吐量之间的权衡，强调了硬件选择、模型架构和量化等因素对优化的影响。理解成本的多维特性和优化策略对于有效管理基础设施预算至关重要。通过合理的工程决策和基准测试，可以在吞吐量和延迟之间找到最佳平衡，以满足不同工作负载的需求。

研究团队推出了Prefill-as-a-Service（PrFaaS），旨在解决大模型推理中的跨机房调度问题。该架构通过将Prefill计算卸载到专用集群，并利用普通以太网传输KV Cache，显著提升了吞吐量和降低了延迟。实验结果表明，PrFaaS在吞吐量上提升54%，P90延迟降低64%，有效支持长上下文场景。

在Java 26中，G1垃圾收集器通过简化写屏障显著提升了吞吐量。本文探讨了区域、写屏障、并发标记和卡表等因素对吞吐量的影响，并指出G1将成为所有环境中的默认收集器。

Redis在2026年被评为Fast Company最具创新的公司之一。通过与LMCache的优化，Redis提升了大规模语言模型的缓存性能，KV缓存读取速度达到9-10 GB/s，显著提高了推理效率，帮助加速推理过程并降低成本。

基准测试显示数据库在高峰期的吞吐量良好，但持续吞吐量更为关键。随着数据量增加，自动清理等维护过程可能滞后，导致性能下降。因此，应关注持续吞吐量上限，并监测自动清理和检查点压力等指标，以防止未来问题。