本研究提出了A3框架，通过将Transformer层分为三个功能组件，构建低秩近似方法，显著减少模型大小和计算消耗，同时保持优越性能。实验结果表明，A3在计算和内存节省方面优于现有技术，具有广泛应用潜力。

本文介绍了一种高效的LLM比较评估的专家模型（PoE），通过结合不同专家的信息，可以得到一个与潜在候选集相关的表达式，具有高度灵活性。使用高斯专家时，可以导出最优候选排名的简单闭式解，以及选择哪些比较可以最大化该排名的概率的表达式。该方法能够实现高效的比较评估，只需使用一个小子集即可生成与全部比较使用时相似相关性的分数预测。在多个自然语言生成任务上评估了该方法，并证明了在执行成对比较评估时能够实现可观的计算节省。