量子位
·
GLM-5架构曝光，智谱两日涨近60%：采用DeepSeek同款稀疏注意力
内容提要
智谱AI的GLM-5架构曝光，采用DeepSeek稀疏注意力机制和多Token预测，参数量达到745B，是GLM-4.7的两倍。新模型Pony Alpha被认为是GLM-5的测试版。智谱股价在两天内上涨60%，预计GLM-5将在2026年春节前发布。
关键要点
-
智谱AI的GLM-5架构曝光，采用DeepSeek稀疏注意力机制和多Token预测，参数量达到745B，是GLM-4.7的两倍。
-
新模型Pony Alpha被认为是GLM-5的测试版，编程和推理能力强劲。
-
智谱股价在两天内上涨60%。
-
GLM-5的架构信息来自开源社区的代码提交，包含DeepSeek稀疏注意力和多Token预测技术。
-
GLM-5包含78层隐藏层，采用MoE架构，共256个专家，支持最高202K token的上下文窗口。
-
Pony Alpha模型的出现与GLM-5发布窗口吻合，引发社区热议。
-
GLM-5预计将在2026年春节前发布，面临多个新模型的竞争。
延伸解读
GLM-5架构的技术优势
GLM-5采用了DeepSeek稀疏注意力机制和多Token预测技术，这使得模型在处理长文本时效率显著提升。通过只计算与当前token相关性最高的部分，GLM-5能够在保持输出质量的同时，减少计算资源的消耗。这种技术的应用可能会使得GLM-5在实际应用中更具竞争力，尤其是在需要处理大量数据的场景中。
市场反应与竞争压力
智谱AI的股价在GLM-5架构曝光后迅速上涨，显示出市场对新技术的高度期待。然而，GLM-5的发布正值多个新模型竞争的关键时期，包括DeepSeek新模型和Qwen 3.5等。这意味着智谱AI需要在技术创新和市场推广上加倍努力，以确保在激烈的竞争中占据一席之地。
多模态能力的潜在缺失
尽管GLM-5在文本处理上表现出色，但其基于DeepSeek-V3架构的设计可能导致其在多模态能力上的不足。多模态能力对于现代AI应用至关重要，尤其是在需要处理图像、音频等多种数据类型的场景中。因此，GLM-5的首发版本是否能满足这一需求，将是未来用户关注的重点。
延伸问答
GLM-5的主要技术特点是什么？
GLM-5采用DeepSeek稀疏注意力机制和多Token预测，参数量达到745B，是GLM-4.7的两倍。
Pony Alpha模型与GLM-5有什么关系？
Pony Alpha被认为是GLM-5的测试版，具有强劲的编程和推理能力。
智谱AI的股价为何在短时间内大幅上涨？
智谱AI的股价在两天内上涨60%，主要受GLM-5架构曝光和Pony Alpha模型发布的影响。
GLM-5的发布预计在什么时候？
GLM-5预计将在2026年春节前发布。
GLM-5的架构设计有什么优势？
GLM-5的DeepSeek稀疏注意力机制提高了长文本处理效率，且输出质量几乎不受影响。
GLM-5在上下文处理上有什么特点？
GLM-5支持最高202K token的上下文窗口，适合处理大规模文本。
