The Mozilla Blog
·
在CPU上运行推理的最佳硬件并发数是多少？
💡
原文英文，约1600词，阅读约需6分钟。
📝
内容提要
在Firefox AI Runtime中，通过多线程加速CPU执行，但过多线程会降低性能。合理利用现代CPU的高性能核心可提高效率。使用navigator.hardwareConcurrency获取逻辑核心数并非最佳选择，需考虑系统活动。我们开发了新API以优化线程数，确保不同设备上实现最佳性能。
🎯
关键要点
- 在Firefox AI Runtime中，通过多线程加速CPU执行，但过多线程会降低性能。
- 合理利用现代CPU的高性能核心可提高效率。
- 使用navigator.hardwareConcurrency获取逻辑核心数并非最佳选择，需考虑系统活动。
- 新API的开发旨在优化线程数，确保不同设备上实现最佳性能。
- 现代CPU提供的逻辑核心数通常多于物理核心，使用过多线程可能导致性能下降。
- 不同类型的核心（高性能核心与效率核心）在任务调度中需合理利用。
- 在高负载情况下，充分利用高性能核心，留出空间给效率核心处理后台任务。
- AMD处理器没有效率核心，线程调度需考虑核心类型。
- navigator.hardwareConcurrency是一个简单的API，但不应直接使用，可能导致线程过载。
- MLUtils.getOptimalCPUConcurrency函数通过考虑物理核心数量来优化线程数。
- 使用更多线程会增加内存使用，可能在内存有限的设备上造成问题。
- Firefox ML功能在性能CI中使用多种硬件配置进行测试，以覆盖用户设备的广泛范围。
- 硬件环境不断演变，新指令集和核心类型的引入可能影响线程计算。
- 未来可能会探讨使用GPU或专用单元（如NPU）来分担ML任务。
➡️
