量子位
·
智谱公布“降智”的秘密：Scaling不可避免的痛
内容提要
智谱发布技术博客，讨论GLM-5系列模型在高负载下出现的乱码和复读现象。团队发现问题源于推理状态管理和KV Cache的竞态，提出在线异常监控策略和KV Cache分层存储方案，显著提升系统处理能力。未来，维护推理基础设施的输出质量将至关重要。
关键要点
-
智谱发布技术博客，讨论GLM-5系列模型在高负载下出现的乱码和复读现象。
-
团队发现问题源于推理状态管理和KV Cache的竞态，导致异常现象在高负载下复现。
-
提出在线异常监控策略，当spec_accept_length低于1.4且生成长度超过128 token时，系统主动中止生成。
-
引入更严格的时序约束，确保KV Cache写入不会跨越内存复用边界，修复后异常输出发生率显著下降。
-
设计KV Cache分层存储方案，降低每个GPU的内存占用，提升系统在Coding Agent场景下的处理能力。
-
智谱强调未来维护推理基础设施的输出质量将至关重要，需有等量级的系统工程支撑。
延伸解读
高负载下的挑战
智谱在GLM-5系列模型的高负载使用中遇到乱码和复读现象，显示出推理状态管理和KV Cache的竞态问题。这提醒我们，在设计和使用AI模型时，必须考虑系统在高并发情况下的稳定性和可靠性，避免因负载过高而导致的异常输出。
在线异常监控的重要性
智谱提出的在线异常监控策略，通过监测spec_accept_length和spec_accept_rate，能够及时中止异常生成。这一策略强调了在AI推理过程中，实时监控和反馈机制的重要性，以确保输出质量，尤其是在复杂任务中。
KV Cache分层存储的优势
智谱设计的KV Cache分层存储方案显著降低了每个GPU的内存占用，并提高了系统的处理能力。这一创新方案展示了在高并发环境下，如何通过优化存储结构来提升系统性能，值得其他AI系统借鉴。
延伸问答
GLM-5系列模型在高负载下出现了哪些异常现象？
在高负载下，GLM-5系列模型出现了乱码、复读和罕见字符生成等异常现象。
智谱团队是如何发现异常现象的根本原因的？
团队通过本地回放用户反馈和调整系统负载，发现异常现象源于推理状态管理和KV Cache的竞态。
智谱提出了哪些策略来监控和修复异常？
智谱提出了在线异常监控策略和KV Cache分层存储方案，以提升系统处理能力和降低异常输出。
KV Cache的竞态问题是如何影响模型性能的？
KV Cache的竞态问题导致了请求生命周期与缓存回收时序的不一致，从而引发了异常输出。
LayerSplit方案的设计目的是什么？
LayerSplit方案旨在降低每个GPU的内存占用，并提升系统在高并发下的处理能力。
未来维护推理基础设施的输出质量有多重要？
维护推理基础设施的输出质量至关重要，尤其是在高并发和长上下文的Coding Agent场景中。
