内容提要
阿里巴巴发布Qwen3.8-27B模型,采用Apache 2.0许可,可在MacBook Pro等本地设备运行。其性能接近Anthropic Opus 4.6,在编码和知识任务上超越旧旗舰,并具备视觉能力。尽管存在过度思考、量化质量损失等局限,但整体表现亮眼,优于Meta的Glimmer-30B。社区已提供MLX转换,4位版本约16GB,适合32GB内存Mac运行。
延伸解读
本地运行的实际门槛
虽然Qwen3.8-27B可在MacBook Pro上运行,但需注意硬件要求:未量化版本约55.6GB,社区提供的4位MLX转换约16.1GB,适合32GB内存的Mac,但上下文长度需适中。若追求更高精度或更长提示,建议48GB或64GB内存。默认支持262K上下文,但扩展至1M需更多内存,桌面端难以完全利用。
量化与性能的权衡
阿里巴巴的基准测试基于原始检查点,而非大多数本地用户运行的量化版本。量化虽使模型在消费级硬件上可行,但会带来质量损失。因此,实际性能可能低于官方数据。用户需权衡量化带来的便利与性能下降,尤其在编码和知识任务上,量化可能影响最终效果。
与同类模型的对比
阿里巴巴将Qwen3.8-27B与Meta的Glimmer-30B对比,结果显示Qwen在各项测试中均领先。这凸显了Qwen在同类本地模型中的竞争力。但需注意,对比数据由阿里巴巴提供,可能存在偏差。用户可参考第三方评测,以获得更客观的对比。
Q&A
阿里巴巴新发布的Qwen3.8-27B模型有什么特点?
Qwen3.8-27B是一个270亿参数的稠密模型,采用Apache 2.0许可,可在MacBook Pro等本地设备运行。其性能接近Anthropic的Opus 4.6,在编码和知识任务上超越旧旗舰,并具备视觉能力(包括视频)。
Qwen3.8-27B与Anthropic Opus 4.6相比表现如何?
根据阿里巴巴的基准测试,Qwen3.8-27B的性能与Anthropic Opus 4.6(Max设置)处于同一水平,在多个基准上甚至超越Opus 4.6,尤其是在计算机使用、编码和知识工作测试中。
Qwen3.8-27B在本地运行需要什么硬件配置?
未量化的模型仓库大小为55.6GB,但社区提供的MLX转换版本中,4位版本约16.1GB,8位版本约29.5GB。因此,32GB统一内存的Mac可以运行4位版本,48GB或64GB内存则更适合更高精度或更长上下文。
Qwen3.8-27B的上下文长度支持多少?
默认支持262,000个token的上下文,通过YaRN方法可扩展到100万token,但本地运行时受内存限制,可能无法使用完整上下文窗口。
Qwen3.8-27B与Meta的Glimmer-30B相比哪个更好?
根据阿里巴巴的基准测试,Qwen3.8-27B在阿里巴巴报告的所有测试中均领先于Meta的Glimmer-30B。
Qwen3.8-27B有哪些已知的局限性?
早期报告显示模型倾向于过度思考;阿里巴巴的基准测试基于原始检查点,量化版本可能有质量损失;此外,目前没有更小的MoE版本,速度可能不如预期。