在3060显卡下，fp16推理的linear层在特定数据维度下提速约60%；layernorm在数据维度超过特定值时提速约40%；rmsnorm在triton版本下可实现30%以上的提速。提升效果与硬件和软件版本密切相关。

大型语言模型的研究发现，神经元的稀疏性与任务特定能力呈正相关。神经元级微调（NeFT）是一种更精确、计算更高效的模型更新方法，超过了全参数微调和参数高效微调的性能。NeFT还为神经元分析提供了深入洞见。

改进和优化 BERT 预训练模型以实现参数高效微调，通过分析不同组件，发现经过微调后，输出层规范化（LayerNorm）发生的变化最为显著。通过仅微调 LayerNorm，可以达到与完全微调和其他参数高效微调方法相当甚至更好的性能，并用 Fisher 信息确定了 LayerNorm 的关键子集，在 GLUE 基准测试中解决了许多 NLP 任务。

该文章介绍了用于微调和评估大型语言模型（LLMs）在专门货币化任务中的方法论，包括混合数据、设计评估框架和分析模型大小和持续训练对度量指标的影响。该框架旨在为企业和研究人员提供行动洞察，以使LLMs适应专门环境，并计划公开评估框架，以促进LLMs在专门任务上的透明度与合作。