佩恩罗斯镶嵌低秩压缩与分块问答微调:针对特定领域大语言模型适应性的通用框架

📝

内容提要

本研究针对如何高效、准确地将大语言模型(LLMs)适应于专业科学领域(如材料科学)这一挑战进行了探讨,提出了一种结合结构化模型压缩和科学微调的两阶段框架。该框架通过局部低秩矩阵块的非周期性镶嵌与分块问答微调策略,实现了在数据稀缺条件下对LLMs的精确专业化,具有重要的应用前景。

🏷️

标签

➡️

继续阅读