Mac mini本地部署Hermes+Qwen3.8：慢30倍却省爆！
内容提要
本地AI代理实验：用户用799美元Mac mini M4 24GB运行Hermes Agent和Qwen3.8-27B模型，夜间花1小时42分钟生成AI新闻播报，全程本地推理、零API费用。对比RTX 5090，速度慢30倍但成本低，电费不足一美分。文章分析显性成本（硬件、电费）与隐性成本（调试时间、折旧、机会成本），并质疑模型基准真实性，探讨速度与数据主权的权衡。
延伸解读
本地推理的隐性成本
文章指出，除了显性的硬件和电费成本，本地AI代理还有隐性成本：调试时间、硬件折旧和机会成本。例如，799美元的Mac mini三年折旧每年约266美元，若每天只跑1小时42分钟，分摊到每次任务并不低。此外，调试代理理解特定格式和风格需要大量时间，这些成本容易被忽视。
性能与功耗的权衡
Mac mini M4 24GB跑Qwen3.8-27B速度约16.8 tok/s，而RTX 5090可达150 tok/s，速度差30倍，但功耗差14倍（40瓦对575瓦）。每美元算力上，RTX 5090性价比是Mac mini的3.6倍，但若考虑电费和硬件成本，Mac mini在特定场景下更经济。
基准测试的可靠性存疑
Qwen3.8-27B的官方基准（如SWE-bench Pro 61.7）均为阿里自报，缺乏独立验证。此外，本地部署仅支持262K上下文，而非官方宣称的1M。独立测试还显示新模型比前代慢约三倍且更耗token，这些因素影响实际体验。
Q&A
在Mac mini上本地部署Hermes和Qwen3.8-27B，生成一份AI新闻播报需要多长时间？
根据用户@spydenator的实验，在Mac mini M4 24GB上运行Hermes Agent和Qwen3.8-27B，生成一份AI新闻播报需要1小时42分钟。
Mac mini M4 24GB和RTX 5090在运行Qwen3.8-27B时的速度差距有多大？
Mac mini M4 24GB的生成速度约为16.8 tokens/sec，而RTX 5090在编码场景下可达150 tok/s，纯聊天可达300 tok/s，速度差距约为10到30倍。
在Mac mini上本地运行AI代理有哪些隐性成本？
隐性成本包括调试时间、硬件折旧和机会成本。调试时间指让代理理解特定格式或风格所需的时间；硬件折旧指799美元的Mac mini三年折旧约每年266美元；机会成本指同样的钱用于云端API可能获得更长时间的服务和持续更新的模型。
Qwen3.8-27B的官方基准成绩有哪些？这些成绩可信吗？
官方基准成绩包括SWE-bench Pro 61.7分、LiveCodeBench v6 90.3分、DeepSWE从13.3涨到42.2。但文章指出这些基准是阿里自己报告的，尚未有独立第三方验证，且本地部署的上下文长度只有262K，而非官方宣称的1M。
本地部署AI代理相比云端API有哪些优势？
优势包括零API费用、数据不出本地（隐私保护）、适合高频或稳定工作流。例如，每天运行一次可节省约360元/年的API费用，且所有数据在本地处理，避免上传云端。
为什么说1小时42分钟是“在特定约束下的最优解”？
因为该任务包含抓取新闻、整理格式、风格润色和语音合成等多个环节，且全部在本地完成，没有云端加速。在“不出本地、不花API钱、不担心隐私泄露”的约束下，这个时间是可接受的，尤其是任务在夜间闲置时运行，边际成本几乎为零。
Mac mini和RTX 5090的性价比如何比较？
按每美元算力计算，Mac mini M4 24GB（799美元）每美元获得0.021 tok/s，RTX 5090（2000美元）每美元获得0.075 tok/s，RTX 5090的性价比是Mac mini的3.6倍。但若考虑电费和隐私，Mac mini方案在一年半左右可回本。
