LLMPi: Optimizing Large Language Models for High Throughput on Raspberry Pi

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究探讨了在资源受限的边缘设备上部署大型语言模型的挑战,采用量化技术以提高计算效率、降低功耗和响应延迟,同时保持推理质量,推动低功耗AI的应用。

🏷️

标签

➡️

继续阅读