SoTaNa: 开源软件开发助手
原文中文，约400字，阅读约需1分钟。发表于：。SoTaNa 是一个开源软件开发助手，使用 ChatGPT 来生成基于指令的高质量数据并利用参数高效的微调方法增强开源基础模型 LLaMA，在回答 Stack Overflow 问题、代码摘要生成和生成数据量对模型性能的影响方面展示了其能力。
通过训练用户模拟器 UserGPT 和生成合成对话数据集 RealChat，实验结果显示该模型在 Vicuna-Bench 和 MT-Bench 中表现优于基线模型，手动评估结果也很竞争。通过与 LLaMA 2 模型微调，ReaLM 在 MT-Bench 中取得领先分数，展示了可扩展性和可迁移性。初步探索了训练集数据质量与模型性能之间的相互作用。
