许多应用开发者希望在Apple硅上本地运行大型语言模型（LLMs），以提高推理效率和保护用户隐私。本文介绍了如何优化和部署Llama-3.1-8B-Instruct模型，利用Apple的Core ML框架实现约33个tokens/s的解码速度。通过引入状态化的键值缓存和4位量化，显著提升了模型性能，适用于其他基于变换器的LLMs。