少数派
·
从纸上涂画到数字笔记：我的数字化纸质阅读方案探索
内容提要
随着数字化的发展，传统阅读方式受到挑战。尽管电子书和笔记系统提供便利，纸质书的触感和沉浸感依然令人怀念。本文探讨了结合纸质阅读与数字笔记的方法，提出利用机器视觉和OCR技术进行书摘提取，解决扭曲校正等问题，以提高摘录效率。
关键要点
-
数字化发展对传统阅读方式造成挑战，纸质书的触感和沉浸感仍然令人怀念。
-
探讨结合纸质阅读与数字笔记的方法，利用机器视觉和OCR技术进行书摘提取。
-
现有的摘录方法存在干扰阅读、整理繁琐等问题，需寻找更高效的解决方案。
-
扭曲校正是提高OCR成功率的关键，书籍表面往往不是平面，影响文字提取。
-
已有多种扭曲校正方案，包括多目相机、几何模型和数据驱动的方法。
-
针对书籍的扭曲校正，mzucker/page_dewarp项目通过样条拟合书表面形状，效果较好。
-
设计了一个自动化流程，包括分割、扭曲校正、光照校正和标记提取与OCR。
-
使用Yolo进行书籍目标分割，结合中缝数据分离左右页。
-
光照校正分为文本类和图像类，采用不同的方法处理。
-
通过下划线和指尖位置进行标记提取，选择性进行文本OCR或图片处理。
-
离线运行程序可处理拍摄的书页，输出为Markdown格式文档。
-
在线运行需搭建读书场景，使用手势控制进行实时书摘提取。
-
未来可能的优化工作包括结合电子书文件校正OCR结果和提取手写注释。
延伸问答
如何结合纸质阅读和数字笔记？
可以通过在书本上做标记、使用OCR应用识别文字或使用智能硬件进行文字摘抄来结合纸质阅读和数字笔记。
扭曲校正在OCR中的重要性是什么？
扭曲校正是提高OCR成功率的关键，因为书籍表面往往不是平面，影响文字提取的准确性。
有哪些方法可以进行书籍的扭曲校正？
书籍的扭曲校正方法包括多目相机、几何模型、数据驱动的方法以及基于深度学习的方案。
如何实现自动化的书摘提取流程？
自动化书摘提取流程包括分割、扭曲校正、光照校正和标记提取与OCR等步骤。
离线和在线运行的书摘提取程序有什么区别？
离线运行适合任何阅读场景，只需拍摄书页并处理；在线运行需搭建特定的读书场景，实时进行书摘提取。
未来的优化工作可能包括哪些方面？
未来的优化工作可能包括结合电子书文件校正OCR结果、智能断句和复杂排版书籍的扭曲校正等。
