本文介绍了在RTX4060上本地部署Gemma4-26B-A4B模型的过程与效果。通过Q8缓存量化和MTP加速,模型输出速度可达40 tokens/s。尽管在翻译和数学问题上表现一般,但在SQL测试中与其他模型相当。文章还讨论了模型的参数设置及其对性能的影响。
完成下面两步后,将自动完成登录并继续当前操作。