信息抽取中使用银标准数据进行零样本分类任务的研究
内容提要
本文综述零样本信息抽取与分类研究，利用大语言模型生成银标签数据，结合清洁数据检测、文本蕴涵和三元组转换等方法，在TACRED、Wiki80等数据集上显著超越基线，实现无需任务训练即可迁移，验证了语言作为任务描述符的有效性。
延伸解读
银标准数据与清洁检测的协同作用
文章提出利用零样本关系抽取生成银标准数据，并通过清洁数据检测模块从中筛选出干净数据，再使用微调模型推断关系类型。这种方法在TACRED和Wiki80数据集上分别比基线提升了12%和11%。这表明，即使自动生成的标签含有噪声，通过有效的清洁机制仍能提取出高质量数据，从而提升模型性能。
语言作为任务描述符的零样本迁移
文章强调语言可以作为任务自适应的简单而强大的描述符。通过提供分类任务的自然语言描述作为输入，训练生成性语言模型，在六个基准文本分类数据集上实现了零样本性能。这克服了多任务分类的缺点，为文本问题的新元学习策略指明了方向，验证了无需任务训练即可迁移的可行性。
文本蕴涵与三元组转换的零样本信息抽取
文章介绍了两种零样本信息抽取方法：一是使用文本蕴涵模型，分析员直接口述感兴趣的实体/关系，每种类型仅需5-15分钟用户工作即可实现零样本学习；二是运用文本三元组转换模型，将信息抽取转化为输入文本到输出三元组的翻译过程，无需特定任务训练即可实现零样本迁移，相比监督学习具有明显优势。
Q&A
零样本关系抽取中如何利用银标准数据提升性能？
通过零样本关系抽取方法获得银标准数据，并使用清洁数据检测模块从中识别出清洁数据，再用微调模型推断关系类型。在TACRED和Wiki80数据集上，该方法比基线分别提升了12%和11%。
如何利用大型语言模型自动生成标签来实现零样本分类？
使用未标记的图像集合和大型语言模型自动生成标签，通过这种非监督方式显著提高零样本分类器性能。与监督训练相比，在多个数据集上绝对提升高达11.7%（平均3.8%），与少样本提示基线相比平均增益1.3%。
文本蕴涵模型在零样本信息抽取中如何应用？
分析员直接口述感兴趣的实体/关系，然后使用文本蕴涵模型进行零样本信息抽取。系统通过用户界面实现，在四个信息抽取任务上，每种类型仅需5-15分钟用户工作即可实现零样本学习，并取得良好性能。
文本三元组转换模型如何实现零样本迁移？
运用文本三元组转换模型，将信息抽取任务转化为输入文本到输出三元组的翻译过程。通过预训练语言模型的潜在知识转换不同任务，预测输入文本对应的关系性信息，无需特定任务训练即可实现零样本迁移，相比有训练集的监督学习具有明显优势。
如何通过提取语篇关系信息构建银标签数据来改进态度分类？
通过提取特定的语篇关系信息从原始文本中提取带有银标签的数据，以微调态度分类模型，并采用3阶段训练框架实现从最嘈杂数据到最少噪音数据的不断降噪。实验表明自动注释数据集和3阶段训练有助于改善模型性能，该方法在NLPCC 2021观点分类赛道26支队伍中排名第一。
语言作为任务描述符在零样本模型自适应中有什么作用？
通过社交评论平台的文本和元数据作为简单预训练任务，并提供分类任务的自然语言描述作为输入训练语言模型，以生成正确答案的方式进行自然语言的模型推广。在六个基准文本分类数据集上训练出具有零样本性能的生成性语言模型，结果显示语言可以作为任务自适应的简单而强大的描述符，为文本问题的新元学习策略指明方向。
