基于多模态智能引擎的大模型知识库技术应用-张红兵.pdf

1、基于多模态智能引擎的大模型知识库技术应用Fabarta解决方案负责人/张红兵基于多模态智能引擎的大模型知识库技术应用Fabarta解决方案负责人/张红兵目录 背景与趋势-大模型时代的应用开发范式转移 基于多模态智能引擎的大模型企业知识中台 数据就绪(Data Ready for AI）：元数据知识化 知识转换：从数据到多模态智能引擎 价值挖掘：企业知识中台落地应用 案例分享和未来展望企业知识应用演进过程企业知识应用演进过程技术1.0 时代2.0 时代Next?3.0 时代深度学习意图识别对话配置泛化能力差图谱较高的构建成本文档管理全文检索一般无语义理解大模型泛化能力智能涌现文档问答(RAG)、

2、Text2Data、Text2API等应用简单的智能体大小模型融合，与企业业务深入结合，赋能企业决策文档管理和搜索知识问答和图谱大模型赋能知识应用支持决策智能大模型时代企业客户业务大模型时代企业客户业务需求需求大模型时代企业知识库大模型时代企业知识库/知识中台知识中台“目前企业结构化数据仅占到全部数据量的 20%，其余 80%80%都是以文件形式存在的非结构化和半结构化数据。”IDC非结构化数据非结构化数据（word,pdf,text,image,video.)半半结构化数据结构化数据(Json,xml.)结构化数据结构化数据(MySQL,Oracle等关系型数据库,csv.)文档管理 搜索

3、知识图谱企业内部文档问答企业内部通过自然语言问数文档理解、摘要、总结报告生成 串联业务场景和大小模型，深入解决业务问题 集成业务系统(API或系统对接）已有应用生成式场景智能决策大模型时代应用落地的范式转移大模型时代应用落地的范式转移通用的大模型落地范式RAG（本地知识+向量数据库+大模型）衍生各种RAG全链路优化.典型的范式是否可以满足企业客户的场景典型的范式是否可以满足企业客户的场景？通用范式是否可以很好的解决这些问题？序号序号典型客户典型客户场景场景分类分类挑战挑战1推荐一下北京的旅游景点非结构化文档问答如何基于RAG的链路优化，提升准确率？2公司的请假制度是什么|公司的打印机怎么双面打

4、印3公司财务报销规范第二个版本对于报销金额有哪些限制？4设备A的故障现象是红灯常亮并发出吱吱声，应该怎么处理？5华北地区二月份各产品线的销量按省份排序 问数场景 如果梳理好数据，助力问答效果？6在供应商信息表中，供应商履约情况字段的数据血缘链路是什么？7贷款企业公司A和公司实际控制人三度关系以内的交易中，有哪些企业是房地产行业相关的？结构化数据和非结构化数据混合问答 如何进行问题拆解，结合结构化数据和非结构化数据做融合的回答？8公司里谁对引擎的存储层最熟悉9分析一下上个月公司营收下降的原因是什么，有哪些推荐措施如何解决大模型落地的痛点？如何解决大模型落地的痛点？大模型更好的落地Data Rea

5、y for AIData Reay for AI加速大模型落地加速大模型落地多模态智能引擎多模态智能引擎 RAG是基础基础，但RAG不是全部1.1.数据就绪数据就绪：元数据知识化-Data ready for AI2.2.知识转换知识转换：从数据到知识 基于图和向量的多模态智能引擎3.价值挖掘：应用落地，挖掘价值-企业知识中台基于多模态智能引擎的企业知识中台基于多模态智能引擎的企业知识中台企业企业已有：多源异构数据已有：多源异构数据结构化、非结构化和半结构化数据数据数据就绪：元数据知识化就绪：元数据知识化元数据统一管理、元数据智能补齐、元数据关系发现海量数据待发挥业务海量数据待发挥业务价值价值

6、数据多样性、需要梳理并且发挥价值DataData ReadyReady forfor AIAI为大模型应用做好数据准备知识转换：多模态智能引擎知识转换：多模态智能引擎图和向量融合的多模态智能引擎符号符号+概率概率-从数据到知识从数据到知识确定性知识和模糊知识的融合 价值挖掘：企业知识中台价值挖掘：企业知识中台知识中台利用大模型发挥企业数据的价值助力业务在企业应用助力业务在企业应用基于多模态智能引擎，结合企业小模型，支撑企业业务场景分层架构描述业务价值DataData ReadyReady forfor AI:AI:元数据知识化元数据知识化元数据元数据 for AI for AI元数据规范和统一