Pix2Text 新版公式识别模型

Pix2Text 新版公式识别模型

💡 原文中文,约2000字,阅读约需5分钟。
📝

内容提要

Pix2Text (P2T) 更新了公式识别模型(version-20230702),显著提升了手写和多行公式的识别精度,尤其在格式正确性方面优于旧版(Latex-OCR)。新模型已在P2T网页版上线,用户可免费使用。

🔎

延伸解读

新模型的核心改进

Pix2Text 新公式识别模型 version-20230702 以 Latex-OCR 开源模型为初始值,使用四五倍的数据重新训练。在作者自建的测试集上,新模型在 BLEU、token 准确率、编辑距离三个指标上均优于旧模型,尤其对手写和多行公式图片的识别精度提升显著,同时降低了格式错误导致的渲染失败概率。

训练数据与评估说明

由于新模型使用了不同的训练和测试数据,无法在 Latex-OCR 原始测试集上直接对比。作者在自建测试集中加入手写和多行公式图片,旧模型在此类图片上表现不佳,而新模型通过加入相关数据训练后,三项指标均有较大改善。读者需注意,评估结果基于作者自建测试集,并非公开基准。

获取与使用方式

新模型已部署到 P2T 网页版,可免费使用。若需本地部署,模型文件需付费购买:企业版和个人版价格不同,星球会员购买个人版可享八折返现。下载后解压得到 p2t-mfr-model 文件夹,在初始化 Pix2Text 时传入模型路径即可,使用方式与开源模型完全一致。注意:需先确保开源模型能正常运行。

❓

Q&A

Pix2Text的新公式识别模型有哪些主要改进?

新模型在手写和多行公式的识别精度上显著提升,尤其在格式正确性方面优于旧版(Latex-OCR)。

新模型的训练过程有什么不同?

新模型的训练过程使用了更多相关数据,导致识别精度显著提高。

用户如何使用Pix2Text的新模型?

新模型已在P2T网页版上线,用户可以免费使用。

新旧模型在识别效果上有什么具体对比?

新模型在格式错误(渲染失败)方面有明显改善,识别率在多个指标上均优于旧模型。

新模型的版本号是什么?

新模型的版本号是version-20230702。

Pix2Text的新模型是否支持单行图片识别?

是的,新模型对一般单行图片的识别率也有所提升。

🏷️

标签

➡️

继续阅读