极道
·
六家对手发现CUDA弱点：不约而同扔掉硬件缓存和线程
内容提要
六家AI芯片公司放弃传统硬件缓存和线程模型，采用软件管理的SRAM和数据流架构，以优化计算效率和降低能耗。这种设计强调显式数据放置和顺序执行，推动了AI专用芯片的发展。
关键要点
-
六家AI芯片公司放弃传统硬件缓存，采用软件管理的SRAM，强调显式数据放置。
-
AI计算的核心操作数据访问模式极为可预测，硬件缓存的猜测机制显得不必要。
-
线程模型被抛弃，AI计算采用流水线和数据流架构，减少了管理成本。
-
同步机制被简化，数据流天然有序，避免了多线程带来的复杂性。
-
六家公司都致力于让数据在片上SRAM中直接流动，减少内存带宽的瓶颈。
-
尽管六家公司在控制权上有所不同，但都达成了对AI计算本质的共识，强调显式数据放置和顺序执行。
延伸解读
AI计算的本质变化
六家AI芯片公司共同放弃传统硬件缓存和线程模型，反映出AI计算的本质正在发生深刻变化。AI工作负载的可预测性使得硬件缓存的猜测机制变得多余，直接指定数据位置的设计理念将显著提高计算效率。
新架构的优势与挑战
采用软件管理的SRAM和数据流架构，虽然能降低能耗和管理复杂性，但也对开发者提出了更高要求。不同公司在控制权上的差异，意味着开发者在选择芯片时需考虑自身的技术能力与需求。
未来AI芯片的发展趋势
六家公司的设计理念表明，AI专用芯片正在逐步脱离传统GPU的影响，形成独特的发展路径。随着对显式数据放置和顺序执行的强调，未来的AI芯片可能会在性能和能效上实现更大的突破。
延伸问答
为什么六家AI芯片公司放弃传统硬件缓存？
六家AI芯片公司认为AI计算的数据访问模式极为可预测，硬件缓存的猜测机制显得不必要，因此选择用软件管理的SRAM替代。
这些公司采用了什么样的架构来替代线程模型？
这些公司采用了流水线和数据流架构，减少了管理成本，避免了多线程带来的复杂性。
六家公司的设计如何优化计算效率和降低能耗？
通过显式数据放置和顺序执行，减少了内存带宽的瓶颈，提升了计算效率并降低了能耗。
这些AI芯片公司在控制权上有什么不同？
不同公司在控制权上差异较大，有的提供完整的C++内核SDK，有的则只提供高级框架，控制权的选择影响性能和开发灵活性。
六家公司的设计哲学有什么共同点？
六家公司都强调显式放置数据、规避缓存，使用数据流或顺序执行，规避线程，消除同步，形成一致的设计哲学。
为什么数据流架构被认为适合AI计算？
数据流架构天然有序，避免了多线程带来的复杂性，适合AI计算的规律性和可预测性。
