基于 ChatGPT 的增强数据技术用于提高参数效率的 LLM 去偏
内容提要
本文综述利用ChatGPT等大语言模型生成合成数据，以增强低资源场景下的模型训练。研究覆盖文本分类、跨语言常识推理、临床文本挖掘、意图检测和情感分析等任务，通过提示生成多样合成样本，提升模型性能与泛化能力，并降低标注成本与隐私风险。
延伸解读
合成数据增强的两种策略
文章提到，在低资源场景下使用ChatGPT生成合成数据时，测试了两种扩充策略：一种是维护原始标签分布，另一种是平衡分布。实验发现，合成数据有助于提升下游任务效果，并且能改善对极少见类别的识别。这意味着在实际应用中，如果数据存在类别不平衡问题，采用平衡分布的增强策略可能更有助于模型学习到稀有类别的特征。
跨语言常识推理中的模型差异
在跨语言常识推理任务中，研究比较了Dolly-v2、StableVicuna、ChatGPT和GPT-4等模型生成合成数据的效果。结果表明，使用GPT-4生成的合成数据进行训练的性能优于其他模型，ChatGPT和GPT-4在大多数语言中生成的自然文本效果很好，但在某些情况下效益会下降。这提示读者，虽然大模型能辅助跨语言数据增强，但并非在所有语言上都稳定有效，需针对具体语言评估。
临床文本挖掘中的隐私与性能平衡
针对生物命名实体识别和关系抽取，研究提出利用ChatGPT生成大量合成数据进行本地模型微调。这种方法不仅显著提高了下游任务性能，还缓解了数据隐私问题。对于医疗等敏感领域，直接使用真实数据训练可能涉及隐私风险，而合成数据提供了一种替代方案，但需注意合成数据与真实数据分布的差异可能影响模型泛化能力。
情感分析中的效率提升
文章指出，利用ChatGPT在情感分析中进行文本增强，可以创造合成训练数据，显著提高较小模型的性能，使其能够与甚至胜过更大的模型。这一创新降低了计算成本、推理时间和内存使用量，同时不降低质量。对于资源有限的应用场景，这意味着可以通过合成数据让小模型达到接近大模型的效果，但需关注合成数据的质量验证。
Q&A
ChatGPT 如何用于低资源场景下的数据增强？
通过特定任务的 ChatGPT 提示生成合成训练数据，以增强低资源场景下的数据。
使用 ChatGPT 生成合成数据时有哪些增强策略？
有两种策略：一种是维护原始标签分布，另一种是平衡分布。
AugGPT 是什么？它有什么作用？
AugGPT 是一种基于 ChatGPT 的文本数据增强方法，通过将训练样本中的每个句子重新表达为多个概念上相似但语义上不同的样本，提高数据不变性和样本大小，在少样本学习文本分类任务上取得优越性能。
在跨语言常识推理中，使用大型语言模型进行数据增强的效果如何？
使用 GPT-4 生成的合成数据进行训练的性能比其他模型优秀，ChatGPT 和 GPT-4 在大多数语言中生成的自然文本效果非常好，但在某些情况下效益会下降。
ChatGPT 在临床文本挖掘中如何应用？
针对生物命名实体识别和关系抽取，提出了一种基于生成大量合成数据进行本地模型微调的训练范式，显著提高了下游任务的性能，同时缓解了数据隐私问题。
使用 ChatGPT 进行数据增强对情感分析模型有什么好处？
利用 ChatGPT 的生成能力创造合成训练数据，显著提高了较小模型的性能，使其能够与甚至胜过更大的对手，同时降低了计算成本、推理时间和内存使用量，而不会降低质量。
