通过代理调整语言模型
内容提要
该文汇总多项大语言模型高效适配研究：通过指令调整提升推理效率并保持生成质量；提出LoFT提高黑盒攻击迁移性；用小型白盒模型结合黑盒模型微调提升翻译性能；黑盒优化任务提示；轻量Probing预测调优表现；Decoder Tuning仅需一次API查询且加速千倍；ProMoT两阶段框架保留上下文学习能力；LMaaS场景少样本学习方案；轻量扰动机制兼顾隐私与实用性；以及依赖输入的提示调整等方法。
延伸解读
代理模型调整的多样技术路线
文章汇总了多种通过代理模型调整语言模型的方法，涵盖指令调整、局部微调、黑盒优化、Decoder Tuning等。这些方法针对不同场景：有的提升推理效率，有的提高攻击迁移性，有的在少样本下优化提示。读者可看到，代理调整并非单一技术，而是根据目标（效率、攻击、翻译、隐私）选择不同策略，且多数方法强调轻量化和黑盒适配。
黑盒场景下的实用化探索
多项工作聚焦黑盒环境：LoFT通过词汇-语义邻近查询微调代理模型以提高攻击迁移性；黑盒优化框架在子空间优化任务提示，在RoBERTa上优于手动提示和GPT-3上下文学习；Decoder Tuning仅需一次API查询且加速千倍；LMaaS场景提出多标签词、滚动更新等少样本方案。这些方法共同点是减少对目标模型内部访问的依赖，利用代理或查询效率实现适配。
效率与能力的权衡
文章提到，ProMoT两阶段框架在微调特定任务时保留上下文学习能力，减少性能下降；依赖输入的提示调整等方法计算成本略高但可忽略，并证明固定模型有未开发潜力，精细调整往往不必要。这提示读者，代理调整可在效率与通用能力间取得平衡，但需注意方法对计算资源的实际需求，以及是否适用于自身任务。
Q&A
如何通过指令调整提升大语言模型的推理效率？
通过指令调整大型语言模型的推理过程，可以在保持生成质量的同时提升其效率，这是推广应用这类模型的重要一步。
LoFT方法如何提高黑盒攻击的迁移性？
LoFT（局部微调）方法通过在词汇-语义邻近的有害查询中微调代理模型，减小代理模型与目标模型之间的差异，从而提高攻击的传递性和成功率。
在机器翻译任务中，如何结合小型白盒模型和大型黑盒模型进行微调？
采用小型白盒模型细调结合概率级别的大型黑盒模型，可显著提高机器翻译等任务的性能，这是一种适用于新任务和域的轻量级语言模型细调方法。
Decoder Tuning方法有什么优势？
Decoder Tuning通过优化解码器网络来适应具有冻结参数的预训练模型，只需要一个API查询，可以实现一千倍的加速。
ProMoT框架如何保留模型的上下文学习能力？
ProMoT是一个两阶段框架：首先为微调任务训练一个软提示，然后使用该提示微调模型本身。这样在微调任务上达到类似性能的同时，大幅减少上下文学习性能的下降，并展现出显著的泛化能力。
在LMaaS场景下如何进行少样本学习？
基于LMaaS场景的解决方案包括多标签词、P0选择、滚动更新策略、MLP分类器的多任务损失以及使用集成方法进一步提高广义化能力。
