PP-DocBee - 百度飞桨推出的文档图像理解多模态大模型

PP-DocBee是什么

PP-DocBee是百度飞桨（PaddlePaddle）团队推出的专注于文档图像理解的多模态大模型。基于ViT+MLP+LLM架构，具备强大的中文文档解析能力，能高效处理文字、表格、图表等多类型文档内容。PP-DocBee在学术界权威评测中达到同参数量模型的SOTA水平，在内部业务中文场景中表现优异。PP-DocBee推理性能经过优化，响应速度更快，能保持高质量输出。PP-DocBee适用于文档问答、复杂文档解析等场景，支持多种部署方式，为文档处理提供高效、智能的解决方案。

PP-DocBee的主要功能

文档内容理解：PP-DocBee对文档图像中的文字、表格、图表等元素进行精准识别和理解，支持多模态输入，包括文本和图像。
文档问答：基于文档内容提出问题，结合文档中的信息生成准确的回答。
结构化信息提取：将文档中的信息（如表格、图表）转化为结构化数据，便于进一步分析和处理。

PP-DocBee的技术原理

架构设计：基于 ViT（视觉Transformer）+ MLP（多层感知机）+ LLM（大语言模型）的架构，结合视觉和语言模型的优势，实现端到端的文档理解。
数据合成与预处理：针对中文文档理解的不足，设计文档类数据智能生产方案，包括OCR小模型与LLM大模型结合、基于渲染引擎生成图像数据等。训练时设置更大的resize阈值，推理时对图像进行等比例放大，获取更全面的视觉特征。
训练优化：混合多种文档理解数据（如通用VQA、OCR、图表、数学推理等），设置数据配比机制，平衡不同数据集的数量差异。基于OCR后处理辅助，将OCR识别的文字结果作为先验信息，提升模型在文字清晰的图片上的理解能力。