一种像大脑一样构建的前沿模型,使用Python和Rust

一种像大脑一样构建的前沿模型,使用Python和Rust

The New Stack The New Stack ·

Pathway团队认为变压器架构已达极限,无法解决计算和能耗问题。他们正在开发一种新模型——龙蛋架构,灵感来自人脑,强调稀疏激活和神经元连接,以提高学习和记忆效率。该架构保留时间结构,解决了变压器的时间盲点和记忆问题,展现出更低的能耗和更好的数据效率。

原文英文,约1500词,阅读约需6分钟。
阅读原文