本研究提出了一种高效的差分隐私微调算法，旨在平衡大型语言模型的隐私保护与实用性。通过引入隐私保护语言模型（PPLM）和多种技术，解决了个人信息敏感性问题，并提升了自然语言处理任务中的模型性能。同时，研究探讨了用户级差分隐私的实现机制，为构建安全可信的AI系统提供指导。

本文提出了一种名为ModuLoRA的内存高效微调算法，能够在48GB GPU上以低精度微调65B参数的语言模型。该方法结合量化器与低秩适配器，适用于文本分类和自然语言推理等任务，表现优异。此外，研究探讨了大型语言模型在金融分析中的应用，展示了其提升决策能力的潜力。

ModuLoRA是一种内存高效的大型语言模型微调算法，支持在只有一个48GB的GPU上以3位或4位精度对具有65B参数的语言模型进行微调。该算法通过将任何用户指定的权重量化器与低秩适配器(LoRAs)结合使用，适应动态生成来自自定义黑盒量化模块的低精度语言模型权重。在实验中，ModuLoRA在文本分类、自然语言推理和指令跟随任务上获得了有竞争力的性能，并且在使用比现有方法更少的内存的同时，超过了流行的摘要任务的最新ROUGE分数。同时，该文还发布了一系列低精度模型，包括第一个3位指令跟随型Alpaca LLMs系列，作为LLMTOOLS的一部分。

阿里云机器学习PAI团队升级了PAI-Diffusion中文模型，提高了图像生成质量、风格多样化、精细化模型微调功能和简单易用的场景化定制方案。该模型已开源并接入多个开源模型分享社区，支持多种轻量化微调算法和可控的图像编辑功能，可继续预训练产出针对不同业务场景的Diffusion模型。未来，该团队将继续优化模型，提高生成图像的质量和多样性。