💡
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
加拿大初创公司Taalas将AI模型直接蚀刻到芯片中，性能达到每秒1.7万Tokens。该技术使芯片通电后即为模型，速度极快，但无法升级，需重新流片。Taalas已完成1.69亿美元融资，展示其定制化芯片技术。
🎯
关键要点
- 加拿大初创公司Taalas将AI模型蚀刻到芯片中，性能达到每秒1.7万Tokens。
- 该技术使芯片通电后即为模型，速度极快，但无法升级，需重新流片。
- Taalas已完成1.69亿美元融资，展示其定制化芯片技术。
- Taalas的技术将大型语言模型的部分结构直接硬编码到硅芯片上。
- H1C芯片单用户推理速度达到17,000+Tokens/秒，性能显著提升。
- 该技术类似于90年代的门阵列，利用古老技术接近LLM参数稀疏性和量化带来的复杂性。
- 芯片设计中，权重和计算结构通过晶体管和金属线蚀刻在硅芯片中。
- 改变最后两层金属掩膜可以定制具体模型，成本和时间低于完全重新设计芯片。
- 模型蚀刻到芯片中无法更改和升级，首发芯片HC1只能使用Llama 3.1 8B版模型。
- Taalas称定制芯片全程只需2个月，降低了设计新芯片的成本。
➡️
