各种基于深度学习的文档图像二值化方法的公正评估
内容提要
本文综述多种文档图像二值化方法：全卷积网络用于历史手稿；基于JPEG压缩流的双判别器GAN具鲁棒性；迭代深度学习框架逐步细化增强；DocBinFormer与T2T-BinFormer利用视觉变换器捕获全局与局部特征，性能优于CNN和ViT；CCDWT-GAN结合小波变换与GAN处理污染文本；DB模块简化后处理并提升文本检测；此外还涉及二值化神经网络精度改进技术及深度特征在文档分类检索中的应用。
延伸解读
方法演进：从CNN到视觉变换器
文章梳理的文献显示，文档二值化技术从2015年前后的全卷积网络和迭代深度学习框架，逐步发展到2022年利用JPEG压缩流的双判别器GAN，再到2023年基于视觉变换器的DocBinFormer和T2T-BinFormer。后者通过双级编码器或逐步分词捕捉全局与局部特征，在DIBCO等基准上超过CNN和ViT方法，反映出该领域正从卷积架构向Transformer架构迁移。
评估需关注数据集与超参数影响
文中提到，全卷积网络方法分析了不同超参数、数据集及输入特征对算法性能的影响，并在多个指标上优于竞争对手。这提示读者：不同二值化方法的比较结果高度依赖实验设置，基准数据集（如DIBCO、H-DIBCO）上的领先表现未必能直接推广到其他文档类型。阅读此类评估时，应留意其测试条件是否与目标应用场景匹配。
应用场景分化明显
文章涉及的方法各有侧重：全卷积网络面向历史手稿和棕榈叶手稿；CCDWT-GAN结合小波变换与GAN处理受污染文本图像；DB模块则服务于文本检测，简化后处理并在MSRA-TD500上以ResNet-18达到82.8 F-measure和62 FPS。这说明文档二值化并非单一任务，选型时应优先考虑文档退化类型、是否需要实时检测等具体需求。
Q&A
文档图像二值化有哪些基于深度学习的新方法？
文章综述了多种深度学习方法：全卷积网络用于历史手稿二值化；基于JPEG压缩流的双判别器GAN；迭代深度学习框架逐步细化增强；DocBinFormer和T2T-BinFormer利用视觉变换器捕获全局与局部特征；CCDWT-GAN结合小波变换与GAN处理污染文本；DB模块简化后处理并提升文本检测。
DocBinFormer和T2T-BinFormer在文档二值化中有什么优势？
两者均基于视觉变换器。DocBinFormer采用双级变换器编码器捕获全局和局部特征，在DIBCO和H-DIBCO基准上超过现有技术。T2T-BinFormer通过逐步分词技术捕捉局部信息，优于CNN和ViT方法，在各基准测试中效果更高。
如何处理受污染的文本图像二值化？
可以使用CCDWT-GAN模型，它结合离散小波变换（DWT）和生成对抗网络（GAN），在文本信息提取方面表现良好，专门用于处理受污染的文本图像。
DB模块在文本检测中有什么作用？
DB（Differentiable Binarization）模块可在分割网络中执行二值化过程，简化后期处理并提高文本检测性能。使用ResNet-18为backbone，在MSRA-TD500数据集上达到82.8的F-measure和62 FPS的速度。
基于JPEG压缩流的二值化方法效果如何？
该方法直接使用JPEG压缩流，采用双判别器生成对抗网络（Dual Discriminator GAN）。在包含噪声和失真的情况下，经过全面测试，模型表现出高度的鲁棒性和效率，并在JPEG压缩领域达到最先进的性能。
二值化神经网络有哪些精度改进技术？
文章提出一系列工程技术来改善二值化神经网络的准确性，包括更合适的激活函数、反向初始化、渐进式量化、网络叠加等，并在人体姿态估计和ImageNet大规模图像识别任务中验证了其优越性。此外，还首次探讨了二值化神经网络和知识蒸馏相结合的效果。
