蓝点网
·
芯片公司Taalas将AI模型蚀刻到芯片电路中 性能达到惊人的每秒1.7万个Token
内容提要
加拿大初创公司Taalas将AI模型直接蚀刻到芯片中，性能达到每秒1.7万Tokens。该技术使芯片通电后即为模型，速度极快，但无法升级，需重新流片。Taalas已完成1.69亿美元融资，展示其定制化芯片技术。
关键要点
-
加拿大初创公司Taalas将AI模型蚀刻到芯片中，性能达到每秒1.7万Tokens。
-
该技术使芯片通电后即为模型，速度极快，但无法升级，需重新流片。
-
Taalas已完成1.69亿美元融资，展示其定制化芯片技术。
-
Taalas的技术将大型语言模型的部分结构直接硬编码到硅芯片上。
-
H1C芯片单用户推理速度达到17,000+Tokens/秒，性能显著提升。
-
该技术类似于90年代的门阵列，利用古老技术接近LLM参数稀疏性和量化带来的复杂性。
-
芯片设计中，权重和计算结构通过晶体管和金属线蚀刻在硅芯片中。
-
改变最后两层金属掩膜可以定制具体模型，成本和时间低于完全重新设计芯片。
-
模型蚀刻到芯片中无法更改和升级，首发芯片HC1只能使用Llama 3.1 8B版模型。
-
Taalas称定制芯片全程只需2个月，降低了设计新芯片的成本。
延伸解读
技术优势与局限性
Taalas的技术通过将AI模型直接蚀刻到芯片中，实现了极高的性能，达到每秒1.7万Tokens。然而，这种硬件级固化的方式也带来了不可更改和升级的局限性，用户一旦选择了某个模型，未来想要更换则必须重新流片，这在快速发展的AI领域可能成为一个显著的劣势。
定制化芯片的市场潜力
Taalas的定制化芯片技术能够在短短两个月内完成设计，降低了新芯片的开发成本。这种快速响应市场需求的能力，可能吸引更多企业选择定制芯片，以适应不断变化的AI模型和应用场景，提升市场竞争力。
与传统技术的比较
Taalas的芯片设计理念与90年代的门阵列技术相似，通过硬编码实现高效计算。这种方法与传统GPU的内存加载方式形成鲜明对比，后者在计算时需要频繁读取内存，导致延迟和能耗增加。Taalas的技术在性能上具有明显优势，但也需关注其在灵活性上的不足。
延伸问答
Taalas的芯片技术有什么独特之处？
Taalas将AI模型直接蚀刻到芯片中，使芯片通电后即为模型，性能达到每秒1.7万Tokens。
Taalas的芯片在性能上有多大提升？
Taalas的H1C芯片单用户推理速度达到17,000+Tokens/秒，性能显著提升。
Taalas的技术有哪些优势和劣势？
优势是性能极快，劣势是模型无法升级，需重新流片。
Taalas的芯片设计过程需要多长时间？
通过两层金属掩膜定制芯片全程只需约2个月。
Taalas的首发芯片使用了哪个模型？
首发芯片HC1蚀刻的是Llama 3.1 8B版模型。
Taalas的融资情况如何？
Taalas已完成1.69亿美元融资，总融资超过2.19亿美元。
