通过增强激活方差稀疏性分析大型语言模型中的层重要性与幻觉

本研究针对大型语言模型（LLMs）的层重要性评估与幻觉生成问题，通过提出激活方差稀疏性评分（AVSS），量化各层对模型性能的贡献。研究发现，通过剪除影响最小的25%层，仍可保留超过90%的性能，且引入增强版本EAVSS后，结合对比学习显著减少了幻觉生成，最大性能提升可达12%，为提升LLMs的鲁棒性与效率提供了框架。