量子位
·
华为新架构砍了Transformer大动脉！任意模型推理能力原地飙升
💡
原文中文，约3200字，阅读约需8分钟。
📝
内容提要
华为推出的新架构Nexus，通过高阶注意力机制，克服了传统Transformer在复杂推理中的局限性。Nexus能够有效建模多跳关系，提升推理能力而不增加参数，特别在数学和科学任务中表现出色。该架构不仅适用于语言模型，还可扩展至视觉和多模态任务，凸显了架构设计的重要性。
🎯
关键要点
- 华为推出的新架构Nexus，通过高阶注意力机制克服了传统Transformer在复杂推理中的局限性。
- Nexus能够有效建模多跳关系，提升推理能力而不增加参数。
- 传统Attention机制在处理复杂逻辑关系时表现不佳，导致推理能力受限。
- Nexus通过让Q和K的生成过程变成注意力操作，增强了上下文感知能力。
- Nexus的递归框架支持多层次的推理链，能够处理更复杂的关系。
- Nexus采用权重共享策略，避免了参数量的增加，保持计算效率。
- 在多个标准推理数据集上，Nexus在小模型和大模型中均表现优于原始Transformer。
- Nexus不仅适用于语言模型，还可扩展至视觉和多模态任务，具有广泛的应用潜力。
- Nexus的设计强调架构的重要性，表明聪明的架构比模型规模更为关键。
➡️
