CoGenesis:一个合作大型和小型语言模型的框架,用于安全的上下文感知指令跟随
原文中文,约300字,阅读约需1分钟。发表于: 。CoGenesis 是一个合作生成框架,集成了大型和小型模型,以解决语言模型在用户隐私保护和高效执行命令方面的研究问题。实验证明,使用用户上下文信息的大型模型表现良好,而在缺乏上下文信息时表现较差。使用合成数据集进行微调的专门的小型模型显示出潜力,但仍然落后于大型模型。利用混合规模模型的 CoGenesis 框架展示了有竞争力的性能,为解决隐私问题提供了可行的解决方案。
这篇文章介绍了一种名为“社交学习”的框架,用于在大型语言模型中以隐私保护的方式共享知识。作者提出并评估了两种知识传递方法,并在多个数据集上进行了实验。结果表明,使用这些方法可以在降低隐私损失的同时保持性能。这项工作证明了社交学习在语言模型中的可行性,并强调了其在未来领域的重要性。