Est's Blog
·
浏览器通过WebGPU上做AI推理
💡
原文中文，约900字，阅读约需3分钟。
📝
内容提要
2026年第二季度，通过浏览器的WebGPU进行AI推理并不值得。尽管transformers.js升级后支持q8模型，但性能仍然不佳，且硬件支持有限。大多数设备不支持WebGPU，WASM推理速度慢，导致AI多在云端运行。国产AI芯片前景不乐观，CUDA生态复杂，推理过程中的矩阵运算面临许多挑战。
🎯
关键要点
-
2026年第二季度，通过浏览器的WebGPU进行AI推理并不值得。
-
虽然transformers.js升级后支持q8模型，但性能仍然不佳。
-
大多数设备不支持WebGPU，WASM推理速度慢，导致AI多在云端运行。
-
国产AI芯片前景不乐观，CUDA生态复杂。
-
推理过程中的矩阵运算面临许多挑战。
❓
延伸问答
为什么在2026年第二季度通过浏览器的WebGPU进行AI推理不值得？
因为性能不佳且大多数设备不支持WebGPU，导致推理速度慢。
transformers.js的升级对WebGPU的支持情况如何？
transformers.js升级后支持q8模型，但在WebGPU上的性能仍然不理想。
为什么大多数设备不支持WebGPU？
因为许多老旧硬件不支持必要的图形处理功能，如shader-f16。
国产AI芯片的前景如何？
国产AI芯片的前景不乐观，面临许多挑战。
推理过程中的矩阵运算面临哪些挑战？
推理过程中的矩阵运算需要对硬件有深入理解，且涉及复杂的计算融合。
为什么AI推理多在云端运行而非本地？
因为端上的问题太多，性能和硬件支持不足使得云端运行更为可行。
➡️
