Block Circulant Adapters for Large Language Models

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种基于块循环矩阵的微调方法,旨在降低大规模语言模型的计算和存储成本。该方法结合一维傅里叶变换,显著减少参数和计算量,同时在下游任务中保持或提升性能,展示了频域微调的潜力。

🎯

关键要点

  • 本研究提出了一种基于块循环矩阵的微调方法。
  • 该方法旨在降低大规模语言模型的计算和存储成本。
  • 结合一维傅里叶变换,显著减少参数和计算量。
  • 在下游任务中保持或提升性能。
  • 展示了频域微调的潜力。
➡️

继续阅读