BriefGPT - AI 论文速递 · 2025-03-28T00:00:00Z

佩恩罗斯镶嵌低秩压缩与分块问答微调：针对特定领域大语言模型适应性的通用框架

📝

内容提要

本研究针对如何高效、准确地将大语言模型（LLMs）适应于专业科学领域（如材料科学）这一挑战进行了探讨，提出了一种结合结构化模型压缩和科学微调的两阶段框架。该框架通过局部低秩矩阵块的非周期性镶嵌与分块问答微调策略，实现了在数据稀缺条件下对LLMs的精确专业化，具有重要的应用前景。

🏷️

标签

大语言模型 微调