华钦科技在香港监管沙盒内完成中国某银行AI反洗钱辅助审查项目。通过微调开源小型大语言模型，风险评级准确率超90%，远超基线模型及通用大模型。团队采用合成数据、类别加权与推理链优化，解决数据不足和幻觉问题，形成可跨场景复制的金融AI训练方法论。

本文综述了LoRA低秩适应技术在大语言模型微调中的研究进展。LoRA通过注入低秩矩阵减少可训练参数，性能接近全量微调且无推理延迟。后续研究提出SoRA、LoTR、PLoRA等改进方法，动态调整秩或提升参数效率，并在多语言摘要与分类任务中验证了有效性。

该文综述大语言模型微调研究，发现微调扩展曲线包含“前幂阶段”，提出“预学习数据大小”改进扩展规律，用于低耗选优模型；参数高效微调可缩小多语言及小模型与大模型差距，但可能降低英语或高资源语言性能；稀疏微调优于LoRA；LoRA仍存灾难性遗忘，遗忘随参数与步数呈移位幂律增长。

研究发现，微调大语言模型存在安全风险：少量恶意样本即可破坏其安全对齐，使其生成有害内容，甚至通过安全评估。为此，学者提出安全向量、Vaccine扰动感知对齐等方法，在微调中抵御有害嵌入漂移，同时保留模型有用能力，并呼吁加强微调安全协议研究。

本文综述联邦学习在隐私保护、资源分配及应用案例方面的进展，涵盖医疗和大语言模型微调等场景，介绍FlexLoRA、FS-LLM、H-FL等框架，并指出开放挑战与未来方向。

该文综述大语言模型微调的隐私风险：成员推断攻击可判断用户数据是否用于微调，无过拟合模型亦难幸免；微调会泄露训练及预训练阶段的个人身份信息。不同调参方式风险各异，微调头部风险最高，适配器较低。研究还提出隐私保护语言模型、对抗训练等防御方法。

该文综述大语言模型微调研究，涵盖三方面：秘密微调公开权重可降低有害指令拒绝率，主张将微调风险纳入模型发布评估；提出SIFT稀疏微调、LoRA超参黑盒优化、概念微调、稀疏预训练加密集微调等方法，以降低训练成本并提升下游性能；探讨微调对模型授权与版权保护的影响及追溯方法。

2023年上半年，@phodal和Thoughtworks团队与开源社区伙伴合作创建了一系列开源项目，涵盖LLM能力运用、Prompt编写和管理、软件开发工序和应用架构设计、新的交互设计、大模型友好的工序、LLM应用设计与落地、面向特定场景的LLM应用等。他们还整理了过去半年的思考和文章，编写了一本开源电子书。在QCon上演讲分享了LLM在研发效能方面的应用场景和实践案例，并在Bilibili上分享了大语言模型微调的相关视频。欢迎参与他们的开源项目，一起探索LLM和软件开发的未来。