活动回顾 (下) | 机器学习系统趋势研判，大咖金句汇总
💡
原文中文，约7200字，阅读约需17分钟。
📝
内容提要
在大模型时代的浪潮中，机器学习系统正经历着前所未有的变革。大模型在训练和部署上面临挑战，但也带来了新的机遇。云端部署目前更为主流，国产芯片在推理领域发展和挑战值得关注。大模型的部署仍有发展空间。
🎯
关键要点
- 大模型时代的机器学习系统正在经历前所未有的变革，带来了新的机遇和技术挑战。
- 在2023 Meet TVM年终聚会上，专家们讨论了大模型在训练和部署中的系统优化问题。
- 王臣汉指出，网络延迟是大模型训练的核心问题，GPU利用率低导致资源浪费。
- 金乐盛提到，TVM和MLC-LLM在处理大模型时面临存储和批处理大小的挑战。
- 冯思远认为，推理领域的趋势尚不明确，定制化和敏捷开发可能比传统编译更重要。
- 随着美国禁令的加强，国产芯片在推理领域的应用前景受到关注。
- 王臣汉预测，国产芯片企业将在18个月内占据英伟达20%以上的市场份额。
- 吴钊强调，自动驾驶领域对技术架构的要求非常高，选择TVM是为了满足业务需求。
- 专家们认为，未来大模型的部署将以端侧为主，但云端部署仍将持续一段时间。
- 冯思远指出，端侧模型的生产和部署方式与云端完全不同，需要针对性设计。
- 2024年，MLC.AI社区将继续推动AI编译器的学习和交流，欢迎各方参与。
➡️
