PeaTMOSS: 开源软件中预训练模型的数据集和初步分析
内容提要
该文综述预训练模型在软件工程中的研究，涵盖模型复用实践与挑战、数据集精炼、时序预训练模型、命名规范、训练数据提取攻击及多模态模型等方向，并展望自动化测量与未来研究。
延伸解读
模型复用的实践与挑战
文章通过访谈和测量揭示了预训练模型在软件工程中的复用实践，包括决策过程和有用属性。同时指出了复用中的挑战，并展望了自动化测量和潜在攻击的未来方向。这有助于读者理解模型复用的实际场景和风险。
数据集精炼中预训练模型的作用
研究探讨了预训练模型对数据集精炼的贡献，发现增加模型多样性可提升合成数据集性能，次优模型有时能辅助精炼并超过充分训练的模型，且领域匹配至关重要。通过优化选项，显著提高了跨架构泛化能力。
训练数据提取攻击的新方法
文章提出模型摄动法（MoPe），通过向参数空间添加噪声并测量对数似然降低来提取训练数据。实验表明，MoPe比现有攻击更有效，且仅凭损失值无法确定信息可提取性，这对基于损失值的记忆研究提出了质疑。
Q&A
PeaTMOSS数据集是什么？它包含哪些内容？
PeaTMOSS是一个数据集，包含大量预训练模型、开源软件仓库以及二者之间的映射。它用于研究深度学习模型在软件工程中的应用和挑战。
在软件工程中，预训练模型复用面临哪些挑战和益处？
通过混合方法实证研究，关注讨论论坛和HuggingFace模型中心，提出了模型复用挑战和益处的分类法，并定量追踪了模型类型趋势和模型文档的演变。
数据集精炼（DD）中，预训练模型的不同选项如何影响合成数据集性能？
研究发现：1）增加模型多样性可以提高合成数据集的性能；2）次优模型在某些情况下可以辅助DD并超过训练充分的模型；3）DD并不一定需要特定的领域PTMs，但合理的领域匹配至关重要。
预训练模型的命名规范研究有哪些发现？
首次对预训练模型命名规范和相关命名缺陷进行了研究，开发了新的自动命名评估技术和算法，揭示了PTM领域中的命名规范，并将其作为研究与实践关系的信号。
模型摄动法（MoPe）如何用于提取预训练语言模型的训练数据？
MoPe通过添加噪声到训练数据的模型参数空间，并测量参数点x处对数似然的降低，来提取训练数据。实验表明，MoPe比现有基于损失的攻击和最近提出的摄动方法更有效。
预训练大型多模态模型的研究涵盖了哪些方面？
综述了预训练大型多模态模型的背景、任务定义、挑战、优势以及验证方式，重点讨论了数据、目标、网络结构、知识增强等方面，并给出了模型参数和结果的可视化和分析，指出了未来可能的研究方向。
