本文提出了一种无监督的实时元损失重新加权方法,旨在解决高质量标签创建的高成本及标签中的错误和模糊性。该方法在自然语言处理任务中表现优异,特别是在对话建模中有效减轻标签噪声和类不平衡问题,提升模型性能。
本文综述多轮对话生成与知识融合研究,涵盖关系转移感知模型RT-KGD、序列潜变量模型SKT、常识与命名实体增强模型、主题驱动知识感知Transformer、知识图谱文本规划CETP、主题感知无监督对话建模TADAM、闲聊到任务导向过渡模型、动态主题跟踪回复选择及DSTC-10口语对话系统等方法,这些方法在自动与人工评估中多优于基线。
该文综述主题分割与对话建模:非结构化文本上,预训练未必提升迁移性,同结构小数据集充分训练可改善分割,Focal Loss优于交叉熵;句际依赖与孪生嵌入多任务学习提升边界识别;对话中话题与体裁需正交定义,上下文与对话行为特征可提高主题分类;无监督层次对话结构及由短到长训练有助于会话理解与摘要。
完成下面两步后,将自动完成登录并继续当前操作。