阶跃新模型快到“没推理”!印奇上任,果然气势一新

💡 原文中文,约2500字,阅读约需6分钟。
📝

内容提要

阶跃新模型Step 3.5 Flash发布,参数为196B,推理峰值达到350TPS,支持256K上下文。与多家芯片厂商兼容,表现优异,采用MoE架构以优化计算成本和增强推理能力,未来将推出Step 4。

🔎

延伸解读

新模型的技术优势

阶跃新模型Step 3.5 Flash采用MoE稀疏混合专家架构,虽然总参数量达到196B,但实际推理中仅激活约11B参数。这种设计不仅提升了推理效率,还有效控制了计算和部署成本,适合在资源有限的环境中使用。

推理速度与应用场景

Step 3.5 Flash在推理速度上表现出色,峰值达到350TPS,能够快速响应复杂任务。这使得它在智能体和编码等核心场景中具备了强大的应用潜力,尤其适合需要实时反馈的应用,如电商比价和医疗资源监控。

隐私保护与数据安全

该模型强调端云协同,确保数据隐私不出本地。云端负责复杂推理,而本地则专注于安全的数据读取,这种设计在保护用户隐私的同时,提升了系统的整体效率,适合对数据安全有高要求的行业。

Q&A

阶跃新模型Step 3.5 Flash的主要参数是什么?

Step 3.5 Flash的总参数为196B,激活参数为11B,支持256K上下文窗口。

Step 3.5 Flash在推理速度上表现如何?

Step 3.5 Flash的推理峰值达到350TPS,推理速度极快,能够准确秒回答案。

新模型如何优化计算成本?

Step 3.5 Flash采用MoE稀疏混合专家架构,实际推理中仅激活约11B参数,从而控制计算与部署成本。

Step 3.5 Flash在基准测试中的表现如何?

在推理、编码、智能体三大核心场景的基准测试中,Step 3.5 Flash在推理类测试中排名前列,得分97.3。

Step 3.5 Flash如何确保数据隐私?

该模型支持云端与本地协同,确保数据隐私不出本地。

未来的Step 4模型有什么计划?

Step 4正在训练中,未来将继续推出新版本。

🏷️

标签

➡️

继续阅读