超越效率：资源高效的大型语言模型的系统调查
内容提要
本系统综述高效大型语言模型研究，从模型、数据、框架三方面对文献进行分类，涵盖扩展法则、数据利用、架构创新、训练调优与推理技术，并建立GitHub仓库持续更新相关论文。
延伸解读
效率挑战的根源与应对框架
文章指出，大模型在自然语言理解、生成和复杂推理上表现卓越，但所需资源相当可观，因此效率问题迫切。综述从模型中心、数据中心和框架中心三个视角分类文献，涵盖扩展法则、数据利用、架构创新、训练调优和推理技术。这种分类有助于读者系统理解效率研究的不同层面，而非仅关注单一技术。
参数共享：紧凑模型的新思路
文中提到一项研究探索模型大小、性能和计算资源之间的权衡，并提出让模型不同部分共享参数的方法，以减少唯一参数总数，同时不牺牲学习和表示复杂语言结构的能力。这为在有限资源下保持模型能力提供了具体方向，也说明效率优化不一定以性能下降为代价。
压缩与推理的实践评估
综述涵盖量化、修剪、知识蒸馏等模型压缩技术，并讨论压缩后的基准策略和评估指标。另有研究对LLaMA在不同GPU和数据集上的推理性能与能源成本进行基准测试。这些工作提醒从业者，效率提升需要配套的评估方法，且实际部署中的能耗和成本应被纳入考量。
简单算法可能更节能
一项定量比较发现，简单算法往往能在性能接近的情况下以较低能耗和资源需求获得结果，建议企业在选择机器学习方案时进行额外评估。这一发现对盲目追求大模型的做法构成提醒，说明效率与效果之间需要权衡，实际选型应结合具体任务和资源条件。
Q&A
高效大型语言模型的研究主要从哪些角度进行分类？
该综述从模型中心、数据中心和框架中心三个角度对高效大型语言模型的研究文献进行分类整理。
这篇综述涵盖了哪些提升大型语言模型效率的技术方向？
涵盖扩展法则、数据利用、架构创新、训练和调优策略以及推理技术等多个方面。
有没有持续更新高效大模型相关论文的资源？
作者创建了一个GitHub存储库，收集了综述中涉及的论文，并将积极维护和整合新的研究成果。
大型语言模型效率低下的主要原因是什么？
大型语言模型在自然语言理解、生成和复杂推理等任务中能力卓越，但所需资源相当可观，这凸显了解决其效率挑战的迫切需求。
有哪些方法可以减少大型语言模型的参数数量而不牺牲性能？
研究发现了允许模型不同部分共享参数的新方法，从而减少所需的唯一参数总数，确保模型保持紧凑的同时不牺牲学习和表示复杂语言结构的能力。
模型压缩技术有哪些常见方法？
模型压缩技术综述涵盖量化、修剪、知识蒸馏等各种方法，并探讨了压缩后的大型语言模型的基准策略和评估指标。
大型语言模型在不同GPU上的推理能耗表现如何？
有研究对大型语言模型在两代热门GPU（NVIDIA V100和A100）以及两个数据集（Alpaca和GSM8K）上的推理性能与推理能源成本进行了基准测试和初步分析。
