运用结合机器学习的方法提高 19 世纪历史文献中的 OCR 质量
内容提要
该文综述数字人文中的历史文献处理研究，涵盖：利用深度学习从19世纪地籍中提取建筑位置并开发浏览器工具；混合模型OCR对Fraktur手写体的字符错误率低于1%；采用字符级图像检索与hmBERT命名实体识别应对低资源问题；运用机器学习分析早期印刷教科书中的天文学知识；以及通过神经网络纠正OCR错误、层次语义分割提取文档结构、多阶段方法生成希伯来语OCR纠错数据并构建层次化文档结构分析系统。
延伸解读
从OCR到结构化：历史文献处理的技术链条
文章展示的研究并非孤立地提升OCR准确率，而是覆盖了从字符识别、错误纠正到文档结构提取的完整链条。例如，混合模型将Fraktur手写体字符错误率降至1%以下，而循环神经网络后处理能进一步降低32.3%以上的误差。这意味着数字人文项目可以组合不同技术，先保证文本质量，再通过层次语义分割提取表格、段落等结构，最终服务于知识发现。
低资源历史语言的应对策略
针对标注数据不足的历史文本，文章提到了多种思路：字符级图像检索建模、使用hmBERT等大型历史语言模型预训练，以及为希伯来语构建多阶段生成的纠错训练集。这些方法共同说明，在缺乏大规模标注时，可以通过预训练模型、图像检索或合成数据来弥补。对于数字人文研究者，这意味着不必等待完美标注语料，而是可以借助迁移学习和数据增强启动项目。
工具落地：从研究到公共应用
文章不仅报告算法指标，还展示了实际工具。例如，基于浏览器的工具让研究者和公众能快速识别19世纪地籍中的建筑位置，支持定居历史研究与文化遗产敏感区域判定；文档结构提取算法已用于Adobe AEM Forms，实现纸质表单自动转换为HTML表单。这表明历史文献OCR技术正从实验室走向辅助决策和公共服务，其价值不仅在于学术研究，也在于提升行政与公众参与效率。
Q&A
如何从19世纪地籍中自动提取建筑物位置信息？
研究使用卷积神经网络和视觉变换器训练深度学习模型，从19世纪弗朗西斯喜安地籍中提取大规模数据，并开发了基于浏览器的工具，使研究人员和公众能快速识别有建筑物的地点。
对于19世纪Fraktur手写体，哪种OCR引擎表现最好？
采用真实数据训练的混合模型OCR引擎Calamari表现最佳，相较于OCRopus、Tesseract和ABBYY等引擎，字符错误率平均降低超过70%，平均字符错误率低于1%。
历史文本命名实体识别中标注数据不足怎么办？
可以使用大型历史语言模型hmBERT进行预训练来解决标注数据不充足的问题，并使用HIPE-2022共享任务评估模型性能。
如何自动纠正历史文献OCR后处理中的错误？
研究提出基于循环神经网络和卷积神经网络的方法，在德语历史图书文献语料库中将字符误差率降低32.3%以上；针对希伯来语，采用多阶段方法生成人工训练数据集并优化超参数，构建神经网络进行OCR后校正，效果优于随机生成错误和复杂拼写检查的最新神经网络。
怎样从高分辨率文档图像中提取层次化结构？
基于层次语义分割网络，提出基于先验模型的深层次CNN网络结构，将文档图像分成互相重叠的水平条带进行分割，在新建立的人工标注文档表单数据集上实验，证明其在分层结构提取上的高效性，已用于Adobe AEM Forms实现纸质和PDF表单自动转换为现代HTML表单。
如何重建多页文档的层次化语义结构？
提出层次性文档结构分析系统DSPS，采用多模式双向编码器和结构感知GRU解码器，以及软屏蔽操作，表现优于基线方法，并构建了大规模数据集HRDoc公开发布。
