本文研究了预训练模型在数据集精炼中的应用，实验发现增加模型多样性可以提高合成数据集的性能，次优模型在某些情况下可以辅助DD并超过训练充分的模型，DD并不一定需要特定的领域PTMs，但合理的领域匹配至关重要。通过选择最佳选项，显著提高了基线DD方法的跨体系结构泛化能力。

通过语言模型学习方法，提出了多种数据蒸馏技术，增强文本数据蒸馏的跨体系结构泛化能力，并分析了分类强度和跨体系结构泛化性能，研究了生成的数据摘要的语言特定公平性。