常扬-文档解析技术加速大模型训练与应用.pdf

《常扬-文档解析技术加速大模型训练与应用.pdf》由会员分享，可在线阅读，更多相关《常扬-文档解析技术加速大模型训练与应用.pdf（47页珍藏版）》请在三个皮匠报告上搜索。

1、文档解析技术加速大模型训练与应用常扬 合合信息演讲嘉宾常扬合合信息 智能创新事业部研发总监/复旦大学 博士合合信息智能创新事业部研发总监，复旦博士，复旦大学机器人智能实验室成员，国家级大学生赛事评审专家，发表多篇SCI核心期刊学术论文，多个学术会议讲师与技术社区AI专家博主，负责合合智能文档处理业务线的产品、技术、云服务平台研发工作。任职期间，先后主导AI数据清洗平台、信息抽取产品、智能文档处理云服务平台、智能文档场景落地产品，为金融、制造、物流等行业提供智能文档处理产品与解决方案，在人工智能领域具备丰富的技术落地经验和行业场景洞察力。目 录CONTENTS1.当前大模型训练与应用中的挑战2.

2、文档解析技术发展与研究内容3.TextIn文档解析技术算法框架4.基于文档解析技术的大模型应用探索5.总结与展望当前大模型训练与应用中的挑战PART 017研究背景当前大模型训练与应用过程的关键环节面临的问题训练Token耗尽训练语料质量要求高LLM RAG应用中文档解析不精准8CommonCrawl,C4,Github,Wikipedia,StackExchange,Huggingface数据集LLAMA2:2T TokensGPT4:13T Tokens高质量预训练数据跟不上模型的进化如何高效获取更多高质量数据?互联网 书籍、论文等PDF/扫描件Markdown核心诉求文档元素识别，表格、

3、段落、公式、标题版面正确解析，双栏、三栏、文表混合更多、更高质量的训练语料的需求 大模型训练转化速度快，上百页PDF阅读顺序还原，避免混乱语序9大语言模型（LLM）驱动的检索增强生成（RAG）技术中确保能够从源文件中精准地提取内容，对于提高最终输出的质量至关重要。在实际工作场景中，非结构化数据远比结构化数据丰富。但如果这些海量数据不能被解析，其巨大价值将无法发掘，其中 PDF 文档尤为突出。RAG技术流程更高精准、效率的文档解析的需求 大模型应用10研究方向：多版式、高精度、高性能的文档解析技术（书籍、论文、企业文档.)各种格式、版式文档文档问答、知识库问答大模型TextIn文档解析技术Tex

4、tIn文档解析技术训练应用11文档解析技术发展与研究内容PART 0212有标记文档无标记文档Word文档HTML文档计算机视角下有标记的文档：#有标记文档MarkDown示例#第一部分#子标题|表格列1|表格列2|表格列3|-|-|-|正文：有标记的文档指的是可以直接用计算机处理，结构化的文档 机器可以直接读取 机器无法直接读取扫描文档图像PDF文档可以将文本组织成段落、单元格、表格没有储存任何结构信息，如表格或段落MarkDown文档计算机视角下无标记的文档：%PDF-1.04 0 obj stream 1.0.0.1.50.700.cmBT/F0 36.Tf(Hello,World!)T

5、jET endstreamendobj文档介绍：计算机视角下两种类型的文档13PDF文件：一系列显示打印指令的集合，非数据结构化格式。显示不受设备、软件或系统的影响PDF(Portable Document Format 便携式文档格式)，独立于应用程序、硬件和操作系统呈现文档的文件格式，能够完全保留原文档的格式。非结构化文档、不具备可编辑性为了极致的显示一致性，PDF 会将文本的位置、字体、间距、缩放比例、页边距等所有属性在文件格式中限定死，让软件没有自由发挥的空间。解析 PDF 文档的挑战、让计算机可以获得PDF信息准确提取整个页面的布局，并将所有内容（包括表格、标题、文本段落和图像）转化

6、为结构化数据形式。PDF文件格式14MarkDown文件：关注内容而非打印格式，可以表示多种文档元素。“优雅、简约、统一”表达多种形式的数据被互联网世界接受，充斥在各种数据中可以被大模型所理解MarkDown文件格式15文档介绍：文档多版式示例16元素遮盖重叠复杂版式：双栏、跨页、三栏元素本身有多样性页眉形式1页眉形式2多栏的影响多栏+插入表格的影响123456234561无线表格识别合并单元格识别单行公式与行内公式表格内公式文档介绍：文档解析典型技术难点17阶段主要特点主要方法、进展主要应用或事件概念阶段:1920年代纯光学技术光学模板匹配首个OCR专利第一阶段:1950-70年代字符识别方

7、法探索与应用相关匹配统计模式识别(Chow 1957)聚焦单字识别，假设规则版面商用OCR机器(IBM、日立、东芝、NEC等)激光扫描仪出现 IJCPR,IAPR第二阶段:1980-2000简单结构文档分析与识别手写字符识别:特征匹配、结构匹配、统计分类、神经网络、多分类器词识别、字符串识别:过切分/候选切分、HMM、HMM+NN版面分析:自上而下，自下而上印刷文档OCR，票据、支票识别，邮政编码和地址数据集:ETL,CENPARMI,CEDAR会议:IWFHR(1990),ICDAR(1991),DAS(1994)第三阶段:2001-2013复杂结构文档分析与识别文本行识别:英文、中文手写文

8、档版面分析,联机手写文档自然场景/视频文本检测:边缘分析、连通成分分析历史文档数字化，谷歌BookProject,PhotoOCR数据集:IAM,CASIA-HWDB等竞赛:ICDAR Robust Reading等第四阶段2014-至今文档复杂内容识别新突破,深度学习主导-大模型主导手写字符和文本识别:CNN、CRNN场景文本检测与识别:边界、分割、E2E复杂文档版面分析:FCN、GNN结构化图形符号:表格、公式自由手写文档网络图像、视频文本信息检索自由格式表格、表单刘成林,金连文,白翔,et al.文档智能分析与识别前沿:回顾与展望J.中国图象图形学报,2023,28(8):2223-22

9、52.文档解析研究的过往发展18文档预分类-文档/非文档图像增强-对比度、去噪图像校正-光照/视角/变形二值化框线/装饰去除文档生成文档鉴伪区域分割区域分类文本定位文本行分割手写/印刷区分表格分析逻辑版面签名/图标/印章文本识别-字符切分-特征提取-分类器设计-序列模型-上下文处理-表示学习-整页识别图形/符号识别-流程、工程图-符号、公式风格鉴定-字体鉴别-语种判别-书写人鉴别-签名验证图像处理版面分析内容识别文档解析研究的技术问题刘成林,金连文,白翔,et al.文档智能分析与识别前沿:回顾与展望J.中国图象图形学报,2023,28(8):2223-2252.19基于规则的开源库问题无法全

10、部解决pyPDF2PyMuPDFpdfminerpdfplumberpapermage基于深度学习/大模型的开源库UnstructuredLayout-parserPP-StructureV2PDF-Extract-Kitpix2textMinerUmarkerGptpdfPDF扫描件不支持无法支持全部版式文档多页可用性低阅读顺序无法还原文档解析精度较低速度慢不满足需求文档解析技术成果应用中存在的问题？20TextIn 文档解析电子档、扫描件文字识别物理版面分析逻辑版面分析文档图像预处理解析更稳、识别更准、性能更快21TextIn文档解析技术算法框架PART 0322TextIn文档解析 算法

11、框架Pipeline23版面分析算法框架版面分析典型输出版面分析算法框架24物理版面分析-聚合：侧重于视觉特征。主要任务是把相关性高的文字聚合到一个区域，比如一个段落，一个表格等等。物理版面分析-布局：选用目标检测任务进行建模，使用基于回归的单阶段检测模型进行拟合，从而获得文档中各种各样的布局方式。逻辑版面分析：侧重于语义特征。主要任务是把不同的文字块根据语义建模，比如通过语义的层次关系形成一个树状结构。检测模型的发展：FasterRCNN/YOLO-(transformer)DETR/DINO在产业落地时，综合考虑任务难度和推理速度，我们选用：单阶段的检测模型，更多关注数据和模型小规模调优检

12、测模型可视化：column区域（左图）vs section区域（右图）版面分析算法 物理版面分析与逻辑版面分析25通过检测获得各个布局要素之后，我们可以建立文档的布局关系。例如，一个双栏的节（section）通常包括两个栏（column）。层级概念page层级页（page）section层级节（section）栏（column）paragraph层级段落（paragraph）列表（list）表格（table）图片（image）run层级切片（run）版面分析算法 物理版面分析26输入文档文档树引擎输出目录树-树状结构提取embedding计算段落关系构造文档树子标题子段落合并旁系主标题表格标题

13、算法核心：通过Transformer架构，预测旁系类型与父子类型预测每个段落和上一个段落的关系，分为子标题、子段落、合并、旁系、主标题、表格标题如果是旁系类型，则再往上找父节点，并判断其层级关系，直到找到最终的父节点版面分析算法 逻辑版面分析27最新研究方向 真实世界中更丰富布局类型的版面分析Cheng H,Zhang P,Wu S,et al.M6doc:A large-scale multi-format,multi-type,multi-layout,multi-language,multi-annotation category dataset for modern document

14、layout analysisC/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2023:15138-15147.合合信息华南理工联合实验室28好好学习好好学习好好学习好好学习语言判断轮廓分析方向分类.横排识别竖排识别纠错模型.多方向文字检测 多方向文字检测 多语言文字识别 其他辅助类模型文字检测Segmentation-based Model文字识别CTC-based Model技术方案文字识别算法逻辑29 表格类型判断 单元格角点模型 表格线段模型 单元格检测模型 后处理逻

15、辑1 Parsing Table Structures in the Wild.ICCV 2021.2 Deep Splitting and Merging for Table Structure Decomposition.ICDAR 2019.表格识别算法逻辑30公式识别算法逻辑Li Z,Yang W,Qi H,et al.A tree-based model with branch parallel decoding for handwritten mathematical expression recognitionJ.Pattern Recognition,2024,149:1102

16、20.合合信息华南理工联合实验室31TextIn开源文档解析测试基准及工具 https:/ 文档解析效果33TextIn 文档解析+大模型演示 更高的文档问答精度34指标指标说明TextIn 表现其他产品表现单页耗时单张PDF的耗时，从调用请求到收到请求通常300ms900ms通常4001200ms多页耗时整份多页PDF的耗时，从调用请求到收到完整返回100页，P902s文件错误率一定周期内，无法解析或解析失败的文件占总文件数的比值约20份/万份-页面丢失率一定周期内，解析失败的页面占总页面数的比值约5页/万页-TextIn 文档解析技术 工程性能35测试集：年报全元素测试-单页-432张测试

17、集：年报全元素测试-单页-540张textinTextin-v2其他产品A其他产品B平均表格文本全对率0.6380.6360.2940.628平均表格树状编辑距离0.9420.9420.6880.891平均表格结构树状编辑距离0.9590.9590.7340.953平均段落识别率0.790.7960.4410.785段落召回率0.7540.7540.6310.806平均标题识别率0.7530.7630.570.855标题召回率0.8770.9160.7160.52平均标题树状编辑距离0.3070.3330.1710.1平均阅读顺序指标0.8530.8450.6520.841textintext

18、in-v2其他产品A其他产品B平均表格文本全对率0.6030.6030.160.587平均表格树状编辑距离0.9180.9180.5350.874平均表格结构树状编辑距离0.940.940.6210.921平均段落识别率0.6920.6920.2220.563段落召回率0.7750.7750.6720.716段落f10.7310.7310.3340.63平均标题识别率0.9380.9380.7140.857标题召回率0.7710.7710.4230.466标题f10.8460.8460.5310.604平均标题树状编辑距离0.4820.4840.2880.193平均阅读顺序指标0.680.68

19、0.3480.467注：其他产品在解析部分样本时存在乱码，因此分数偏低注：textin为纯OCR方案，textin-v2为综合方案TextIn 文档解析技术 效果测试36基于文档解析技术的大模型应用探索PART 0437翔鹭钨业(9.500,0.12,1.28%)：股东众达投资854.68万股股份解除质押 来源：每日经济新闻每经AI快讯，翔鹭钨业2，收盘价：9.50元）5月20日晚间发布公告称，公司股东潮州市众达投资有限公司（以下简称众达投资）将其质押给海通证券(12.440,-0.03,-0.24%)股份的854.68万股股份办理了解除质押。公司表示，其实际控制人陈启丰及其一致行动人潮州启龙

20、贸易、众达投资质押的股份目前不存在平仓风险，也不会导致实际控制权发生变更。2019年年报显示，翔鹭钨业的主营业务为有色金属冶炼和压延加工业，占营收比例为：100.0%。记者：曾剑,翔鹭钨业的董事长为陈启丰，男，年龄60岁，中国国籍，无境外永久居留权，大专学历。翔鹭钨业的总经理为陈伟东，男，年龄32岁，硕士，中国国籍，无境外永久居留权。建立模型标注数百或数千份训练样本模型训练和调优【信息抽取任务】从以下资讯文本/多文档（票据）中抽取出关键信息请从如下文本中判断出事件类型和相应的事件要素，结果按照results_style的形式进行呈现：翔鹭钨业(9.500,0.12,1.28%)：股东众达投资8

21、54.68万股股份解除质押 来源：每日经济新闻每经AI快讯，翔鹭钨业2，.需要开发人员有丰富的算法经验新样本如语句变化则将难以确保效果后处理和补缺Prompt提示词普通员工会写提示词prompt即可模型对语句变化后的自适应性强一、开放域多模态信息抽取38智能解读业务文件，完成非结构化的关键信息提取，提高阅读效率，挖掘文档价值字段抽取列表抽取元素抽取创建文档类型设置提取字段上传文件AI提取返回结果后续应用直接创建文档类型内置多种文档类型及预设字段，开箱即用内置丰富语料信息支持PDF、word、图片等主流文件格式自动抽取文档中的关键信息抽取结果可用于后续业务审核、一致性比对或导入其他系统三种抽取模

22、式开放域多模态信息抽取39企业财报（年报、季报、半年报）行业/公司研报（行业分析、个股深度分析）其他公告（招股说明书、业绩预告、股权变动等）知识库信息检索通过自然语言问答，精准检索知识库中相关内容；关键内容总结提炼文档重点内容，提高信息筛选效率；多文档问答支持多源信息检索及对比，洞察潜在趋势；信息来源可靠有效规避大模型幻觉，完整展示真实可靠来源；金融文档知识库专注有效信息阅读提高案头分析效率分析师个人投研助手投研知识管理重点内容问询、标记、收藏，构建投研知识库；个人知识库非公开文档（专家调研报告、会议纪要等）二、分析师问答产品 提高机构分析师信息检索效率40分析师知识问答产品效果展示41Tex

23、tIn文档解析文本表格段落文档目录树问题解析Elastic Search关键信息抽取停用词处理问题改写文件定位表格召回标题召回目录树节点召回关键词&新问题Prompt+召回内容LLM问题答案重排后答案来源关键词匹配系统稀疏检索系统稠密检索系统（合合embedding模型）模型重排打分段落倒数排序层级命中率粗召精排分析师问答产品RAG技术架构42总结与展望PART 0543合合TextIn智能文档处理平台矩阵 平台基建个人账号体系计费体系API上下架管理多租户管理调试模式体验模式基座产品通用识别产品个人证件识别产品公司证照识别产品票据识别产品车辆识别产品图像处理产品图像文档识别与处理通用文档解析文本向量模型大模型加速器文件转换文档转换图片转换综合产品财报机器人合同机器人训练平台票据机器人TextIn ToolsTextIn 海外版TextIn 小程序体验端文档类应用44更多版式，更高精度不漏检、不错检、识别准确无线表、跨页表格、页眉、页脚、公式、图像、印章、流程图、目录树等更高性能速度快、服务稳定100页PDF最快1.46s、云服务集群更多格式更多版式更高精度更高性能TextIn文档解析，加速大模型训练与应用TextIn文档解析核心特性4546THANKS