路边的阿不
·
多模态数据提取：微调与少样本提示
内容提要
本文探讨了利用多模态大模型进行发票数据结构化提取的实践经验，旨在实现模型稳定输出可用的JSON格式数据。传统OCR方法在复杂版式下效果不佳，而多模态模型如Gemini和GPT-4o能够有效理解图像和指令。文章介绍了微调和少样本提示的方法，强调数据格式和模型输出准确性的重要性，建议在训练中加入模糊样本，并在系统提示中强调格式要求，以提高模型的可靠性。
关键要点
-
文章探讨了利用多模态大模型进行发票数据结构化提取的实践经验。
-
目标是让模型稳定输出可直接用的JSON格式数据，而不是复杂的解释。
-
传统OCR方法在复杂版式下效果不佳，多模态模型如Gemini和GPT-4o能够有效理解图像和指令。
-
微调和少样本提示是实现模型输出的主要方法，强调数据格式和模型输出准确性的重要性。
-
建议在训练中加入模糊样本，并在系统提示中强调格式要求，以提高模型的可靠性。
-
微调方法包括在线模型托管和本地模型微调，后者适合数据隐私敏感的场景。
-
少样本提示方法通过提供示例来教会模型输出格式，适合样本不多或发票版式固定的情况。
-
实践中建议加入模糊发票和残缺照片，强调格式要求，并在下游系统中进行校验。
延伸问答
多模态大模型如何用于发票数据提取？
多模态大模型能够同时理解图像和指令，从而实现发票数据的结构化提取，输出标准的JSON格式数据。
微调和少样本提示有什么区别？
微调是通过调整模型权重来提高性能，而少样本提示则是通过提供示例来教会模型输出格式，不改变模型权重。
为什么传统OCR方法在复杂版式下效果不佳？
传统OCR方法在复杂版式和字段漂移时脆弱，无法有效处理多样化的发票格式。
在训练模型时，为什么要加入模糊样本？
加入模糊样本可以提高模型的鲁棒性，帮助模型更好地处理不完美的输入，避免强行猜测。
如何确保模型输出的JSON格式准确？
在系统提示中强调格式要求，并进行下游校验，以确保模型输出的JSON格式符合预期。
使用少样本提示时，如何构建有效的Prompt？
有效的Prompt应包含图片和JSON示例，确保示例成对出现，以帮助模型理解所需的输出格式。
