InfoQ
·
状态空间模型可以在低功耗边缘计算中启用人工智能
内容提要
在2025年嵌入式视觉峰会上，BrainChip首席技术官Tony Lewis介绍了状态空间模型（SSM），该模型在低功耗环境中实现了大语言模型（LLM）能力。SSM通过仅利用最后一个令牌生成输出，克服了变压器模型的上下文限制。BrainChip的TENN模型在0.5瓦特下运行，具有1亿参数，能在100毫秒内返回结果，展现了在边缘设备上的应用潜力。
关键要点
-
在2025年嵌入式视觉峰会上，BrainChip首席技术官Tony Lewis介绍了状态空间模型（SSM），该模型在低功耗环境中实现了大语言模型（LLM）能力。
-
SSM通过仅利用最后一个令牌生成输出，克服了变压器模型的上下文限制。
-
BrainChip的TENN模型在0.5瓦特下运行，具有1亿参数，能在100毫秒内返回结果，展现了在边缘设备上的应用潜力。
-
状态空间模型的无记忆特性使其能够更好地利用CPU缓存，减少内存分页，从而降低设备功耗和成本。
-
TENN模型使用只读闪存运行，并且正在进行量化以适应边缘设备硬件。
-
在基准测试中，TENN模型与Llama 3.2 1B相比表现良好，但性能依赖于具体应用。
-
状态空间模型在计算资源受限或高性能要求的场景中显示出特别的前景，可能开启新一代边缘设备的AI能力。
延伸解读
状态空间模型的优势
状态空间模型（SSM）通过仅依赖最后一个令牌生成输出，克服了变压器模型的上下文限制。这种无记忆特性使得SSM在低功耗环境中表现出色，能够更有效地利用CPU缓存，减少内存分页，从而降低功耗和成本。
TENN模型的应用潜力
BrainChip的TENN模型在边缘设备上展现了巨大的应用潜力。其在0.5瓦特的功耗下，能够快速返回结果，适用于车载摄像头、医疗设备等资源受限的场景。这为未来的智能设备提供了新的可能性。
性能依赖于应用场景
尽管TENN模型在基准测试中表现良好，但其性能仍然依赖于具体应用。Tony Lewis建议使用RAG架构来防止模型产生幻觉，这提示开发者在实际应用中需谨慎评估模型的适用性。
延伸问答
状态空间模型（SSM）有什么优势？
状态空间模型通过仅利用最后一个令牌生成输出，克服了变压器模型的上下文限制，适合低功耗环境。
BrainChip的TENN模型在什么条件下运行？
TENN模型在0.5瓦特下运行，具有1亿参数，并能在100毫秒内返回结果。
状态空间模型如何降低设备功耗？
由于无记忆特性，状态空间模型能更好地利用CPU缓存，减少内存分页，从而降低功耗和成本。
TENN模型与Llama 3.2 1B的性能比较如何？
在基准测试中，TENN模型表现良好，但其性能依赖于具体应用。
状态空间模型的应用场景有哪些？
状态空间模型适用于低功耗计算环境，如行车记录仪、医疗设备、安全摄像头和玩具等。
BrainChip正在对TENN模型进行哪些改进？
BrainChip正在对TENN模型进行量化，以便更高效地在边缘设备硬件上运行。
