量子位
·
Flash Attention作者最新播客：英伟达GPU统治三年内将终结
💡
原文中文，约13000字，阅读约需31分钟。
📝
内容提要
Flash Attention的作者Tri Dao在播客中预测，未来三年内英伟达将失去GPU市场主导地位，AI硬件生态将变得多元化。他指出推理成本已下降100倍，未来有望再降10倍，技术进步将推动AI硬件发展。
🎯
关键要点
- Tri Dao预测英伟达将在未来三年内失去GPU市场主导地位。
- AI硬件生态将变得更加多元化，推理成本已下降100倍，未来还有望再降低10倍。
- 未来将出现三类工作负载模式：传统聊天机器人、极低延迟场景和大规模批处理。
- 推理优化技术的进步包括模型量化和硬件协同设计。
- 芯片设计面临挑战，尤其是在稀疏计算和低延迟需求方面。
- 未来推理优化技术还有约10倍的提升空间，硬件和模型层面均有改进潜力。
- AI推理市场将出现专门化，针对不同场景进行优化。
- Tri Dao认为AI模型在某些任务上已达到中等水平，但仍需提升以与人类专家协同工作。
- 未来的架构创新可能会推动AGI的发展，当前架构已具备关键成分。
- 学术界与工业界的结合能够推动AI基础设施的发展，探索与开发相结合。
❓
延伸问答
Tri Dao对英伟达未来的市场预测是什么？
Tri Dao预测英伟达将在未来三年内失去GPU市场的主导地位。
推理成本下降的原因是什么？
推理成本下降的原因包括模型量化、硬件协同设计和推理优化技术的进步。
未来AI硬件生态将如何变化？
未来AI硬件生态将变得更加多元化，出现专门化的推理提供商，针对不同工作负载进行优化。
Tri Dao提到的三类工作负载模式是什么？
三类工作负载模式包括传统聊天机器人、极低延迟场景和大规模批处理。
推理优化技术未来还有哪些提升空间？
推理优化技术未来还有约10倍的提升空间，主要在硬件和模型层面。
Tri Dao对AI模型与人类专家协同工作的看法是什么？
Tri Dao认为AI模型在某些任务上已达到中等水平，但仍需提升以与人类专家协同工作。
➡️
