一个用于甲骨文演化的开放数据集：EVOBC
内容提要
该文综述了古代文字与多语言文本识别数据集及方法，涵盖古代汉字、韩字、日文艺术、Baybayin等，提出多模式融合、无监督域适应、生成对抗网络等技术，并构建中文自然语言推理数据集，推动文字识别与理解研究。
延伸解读
数据集构建的多样性
文章综述了多个古代文字识别数据集，涵盖古代汉字、韩字、日文艺术和Baybayin等。这些数据集针对不同文字系统和应用场景，如Oracle-241用于甲骨文识别，Hanja Understanding Evaluation用于韩字理解。构建这些数据集需要专业领域知识，并涉及字符级和文本级标注，为后续模型训练提供基础。
技术方法的演进
文章提到了多种技术方法，包括多模式融合、无监督域适应、生成对抗网络等。例如，无监督域适应方法通过伪标签和约束增强一致性，将知识从标记的手写神谕字符传递到未标记的扫描数据，提高了模型在磨损、污渍和失真下的鲁棒性。这些方法旨在解决古代文字识别中的域偏移和样本不足问题。
评估与挑战
文章指出，在Oracle-241数据集上，所提方法达到了最先进的结果，并在结构纹理分离网络上性能提升了15.1%。然而，中文自然语言推理数据集的基线测试显示，即使最佳模型性能也远落后于人类，表明古代文字和语言理解仍面临巨大挑战，需要更先进的模型和更多数据。
Q&A
EVOBC数据集是什么？它有什么特点？
EVOBC是一个用于甲骨文演化的开放数据集，旨在提高古代字符的辨认效率，并提供更可靠的技术支持和文本数据。
有哪些方法可以提高古代手写字符的识别效率？
可以采用多模式融合方法，以及无监督领域适应方法，通过伪标签和约束增强一致性，从标记的人工手写神谕字符向未标记的扫描数据中传递知识，使模型在磨损、污渍和失真下更加鲁棒。
针对古代文字识别，有哪些公开的数据集？
有Oracle-241数据集、古代汉字图像数据集、Hanja Understanding Evaluation数据集、前现代日本艺术品面部图像数据集、Baybayin字符数据集等。
无监督领域适应在甲骨文识别中是如何应用的？
通过伪标签和约束增强一致性，从标记的人工手写神谕字符向未标记的扫描数据中传递知识，使模型在磨损、污渍和失真下更加鲁棒。同时，提出了一种无监督的转移损失，通过优化类间和类内转移概率，在扫描领域上学习更有辨别力的特征。
生成对抗网络在古代文字图像生成中有什么作用？
基于生成对抗网络的无监督方法能够生成具有多样的字形和真实纹理的古代文字图像，该方法在分类准确率等方面表现出色。
中文自然语言推理数据集有什么特点？
这是中国的首个大规模NLI数据集，采用语言学专家进行注释，是首个非英语语言的人采集的MNLI风格数据集。通过使用中文预训练模型进行基线测试，发现即使是表现最好的模型，其性能也远远落后于人类，因此这一具有挑战性的新资源有望帮助加速中文NLU的进展。
