《韩晓璐-大模型+数据智能分析应用发展趋势及标准化工作介绍.pdf》由会员分享,可在线阅读,更多相关《韩晓璐-大模型+数据智能分析应用发展趋势及标准化工作介绍.pdf(32页珍藏版)》请在三个皮匠报告上搜索。
1、大模型+数据智能分析应用发展趋势及标准化工作介绍2024.9云计算与大数据研究所 韩晓璐中国信通院数据智能工作介绍大模型+数据智能分析应用标准化工作介绍大模型+数据智能分析应用发展趋势010102020303目录3中国信通院简介:信息社会创新发展的思想库和使能者邮电部邮电部邮电科学研究院邮电部邮电分营邮电部电信科学研究规划院组建信产部信产部电信研究院组建工信部工信部电信研究院1957年1994年1998年2008年 2014年工信部中国信息通信研究院国家高端专业智库 产业创新发展平台国家高端专业智库 产业创新发展平台发展定位文化理念发展使命信息社会创新发展的思想库和使能者厚德实学 兴业致远信息
2、社会创新发展的思想库和使能者4中国信通院简介:信息社会创新发展的思想库和使能者4个分院南方分院西部分院华东分院广州智慧城市研究院416个业务部门政策与经济研究所技术与标准研究所产业与规划研究所云计算与大数据研究所信息化与工业化融合研究所工业互联网与物联网研究所安全研究所泰尔系统实验室泰尔终端实验室泰尔认证研究所泰尔认证中心信息通信工程定额质监中心信息通信网络安全响应中心工业和信息化法律服务中心无线电研究中心4个部属中心电信设备认证中心电信用户申诉受理中心信息通信业务受理中心政务服务中心4个支撑中心信息管理中心数据研究中心互联网行业促进中心安全发展和保密办公室l 24个省通信管理局行业支撑中心(
3、210人)l 37家院属企业工业互联网与智能制造领域【上海、江苏、湖北、广东、重庆】大数据、人工智能、物联网等新一代信息技术领域【江苏、河南、江西】车联网领域【上海、四川】智慧医疗领域【河南】芯片与集成电路【无锡】新能源领域【嘉兴】移动通信创新中心知识产权与创新发展中心11个职能部门办办公公室室党党群群工工作作部部离离退退休休干干部部办办公公室室 纪检监察审计部科技发展部业务发展部人力资源部国际合作部资产管理部实验室质量管理部后勤服务中心财务部5中国信通院云大所简介:聚焦信息领域新技术、新业态、新模式中国信通院云大所围绕各类新技术,下设中国信通院云大所围绕各类新技术,下设12个部门,开展相关工
4、作。个部门,开展相关工作。M市场部N内容科技部E数字健康部BT政企数字化转型部G审计与治理部D数据中心部Z综合部国际业务中心O开源和软件安全部F金融科技部C云计算部大数据与智能化部S生物科技部生物科技部大数据与智能化大数据与智能化部围绕数据和智能化两大领域,开展技术、标准研究,构建相关技术的测试、试验和统计平台,承担相关服务和产品的测试评估工作,提供相关技术标准的咨询服务。6政府支撑方面工作政策文件起草国务院以国发201550 号印发促进大数据发展行动纲要成为我国发展大数据产业的战略性指导文件,中国信息通信研究院是主要起草单位。20152016牵头起草工业和信息化部大数据产业发展规划(2016
5、-2020年)并参与宣贯实施工作。2021参与起草工业和信息化部大数据产业发展规划(2021-2025年)并参与宣贯实施工作。2022参与起草关于构建数据基础制度更好发挥数据要素作用的意见,支撑相关政策未来的细化和落地。2021参与起草工业和信息化部关于加快推动区块链技术应用和产业发展的指导意见并参与宣贯实施工作。l 中国信通院作为国家高端智库,支撑国务院办公厅、工业和信息化部、中央网信办、国家发改委等部委起草编制数据领域重要政策文件,推动我国数据领域发展顶层设计构建完成。2022参与起草数字中国建设整体布局规划,重点支撑数字基础设施和数据资源相关内容。7政府支撑方面工作重要工作支撑支撑促进大
6、数据产业发展相关工作,对大数据、数据库产业展开调研,梳理产业问题、收集企业需求及痛点,形成大数据产业图谱;大力推动DCMM全国范围内的贯标工作,实现行业覆盖更广,企业服务更深。培育DCMM评估服务生态,促进产业数字经济发展;支撑促进区块链产业发展相关工作,支撑Web3.0等新技术新应用研究,区块链典型案例征集等l 围绕国家数据领域战略部署,支撑工信部、国家数据局、网信办、国家发改委、科技部等部委,以及地方政府的大数据、区块链相关工作,提供数据相关政策咨询、试点支撑等服务。牵头筹备5组的数据基础设施专班,统筹支撑国家数据基础设施设计、建设和运营;牵头筹备2组的“数据要素x”行动计划文件编制,指导
7、数据要素对各行业的赋能过程;支撑筹备3组的公共数据开发利用指导意见文件,跟踪相关政策的规划落地。支撑区块链发展管理相关工作;支撑中央网信办、中宣部、国办电子政务办、最高法、最高检等18部委联合开国家区块链创新应用试点工作,承担试点工作组。8数据基础设施政策支撑:牵头支撑国家数据基础设施建设“数据基础设施的建设将与数据基础制度的落地和数据资源开发利用的实施一起,共同为数据要素产权确权、收益分配、交易流通、安全治理等核心问题的解决发挥作用。同时,数据基础设施也将对扩大数据产业规模、繁荣数据产业生态、促进数字经济高质量发展产生重要意义。”国家数据局党组书记、局长 刘烈宏工作目标加快研究和明确数据基础
8、设施概念、内涵、外延,在业内形成统一共识。加快研究和明确推动我国数据基础设施建设的重点工作和政策措施,会同有关部门研究出台数据基础设施顶层规划,开展试点验证,培育新型产业生态。政策和规划司数据资源司数字经济司数字科技和基础设施建设司开展数据确权、数字资源开发利用等工作;数据制度、数字经济、数据社会、数据要素等方面政策法规制定。实施数字经济、智慧城市等方面工作;数据领域科学技术的攻关和关键基础设施建设,以及学科体系建设和专业人才培养。数据基础设施工作专班组织架构组长单位:中国信息通信研究院副组长单位:国家信息中心成员单位:国家发展改革委创新驱动发展中心、中国电子技术标准化研究院、中国电信、中国移
9、动、中国联通综合司开展数字中国、数字经济国际合作,承接发改委关于人事、财务、纪检等工作。9部门总体工作框架数据基础设施数据智能应用数据要素流通数据治理数据基础设施数据安全数据基础设施数据中台数据治理DataOps数据资产化大数据数据库组织架构开发服务构建数据基础释放数据价值数据智能应用技术业务数智化基础理论研究公共数据授权运营咨询评估体系技术评测体系可信数网应用安全全流程治理数设施行业大数据政务汽车金融电信双碳零售环境政策支撑产业研究咨询规划标准制定评测评估数据智能服务10数据应用整体工作框架:助力数据价值的发现、释放、认可数据平台数据资源知识图谱工具数据科学平台指标平台数据开发平台数据开发与
10、服务技术平台评测数据开发体系评估“业务数智化”能力成熟度评估数据服务体系评估体系建设评估数据对内赋能能力提升咨询技术工具及供应商选型咨询内部体系建设咨询数字营销企业数字营销成熟度评估数字营销解决方案能力评测数字营销外部数据源对接数字营销体系建设提升咨询数据对外赋能数据API能力评测外部数据资源接入对接跨域营销标签平台企业数据伦理治理成熟度评估数据分析应用技术平台评测体系建设评估能力提升咨询技术工具及供应商选型咨询内部体系建设咨询商务智能(BI)工具数据可视化工具基于大模型的BI工具数字孪生技术平台可视化服务能力数据分析应用能力外部供应商评测数据分析应用服务商能力评测用户行为分析平台智能风控企业
11、智能风控成熟度评估智能风控解决方案能力评测智能风控外部数据源对接智能风控体系建设提升咨询企业管理企业数字化管理成熟度评估企业数字化管理解决方案能力评测企业数字化管理体系建设咨询联合风控11数据智能评估测试:国内最全面、深入的数据智能评测体系l 总计已有169家企业参与评估测试,374款产品通过评测,完成测试数量 408个。数据智能应用方向参与评测的部分企业:供给侧应用侧12中国信通院数据智能应用产业研究和生态建设工作在数据应用方向,中国信通院联合各方积极开展产业研究和生态建设工作,联合细分行业内的头部企业,完成多本研究报告、实践指南和白皮书,举办多场数据应用论坛、系列沙龙、星河案例征集等活动。
12、行业研究生态建设数据应用星河案例评选数据应用系列沙龙私域营销数智化实践指南金融智能风控应用实践指南地球大数据白皮书(英视睿达深度参与编制)专业领域数据应用专家库交通行业运营商数据应用白皮书(安徽移动深度参与编制)数据伦理白皮书(编制中)交通行业大数据应用发展报告(千方科技深度参与编制)中国信通院数据智能工作介绍大模型+数据智能分析应用标准化工作介绍大模型+数据智能分析应用发展趋势010102020303目录14人工智能技术发展演进,从专家系统到大语言模型15大模型落地关键技术发展趋势16数据智能体技术发展17大模型快速落地,催生数据智能应用新范式18数据智能应用方向标准化工作通用数据智能应用技
13、术标准:通用数据智能应用技术标准:商务智能分析工具技术要求与测试方法数据开发平台技术要求与测试方法知识图谱工具技术要求与测试方法数据科学平台技术要求与测试方法数据可视化平台技术要求与测试方法用户行为分析工具技术要求与测试方法数字孪生平台技术要求数据智能管理驾驶舱技术要求数据智能管理驾驶舱技术要求大模型大模型+数据智能应用系列标准:数据智能应用系列标准:大模型驱动的数据分析工具技术要求new大模型驱动的知识图谱工具技术要求new检索增强生成技术能力要求new大模型驱动的智能问答系统技术要求new数据智能体技术总体要求数据智能体技术总体要求newnew数据分析智能体技术要求数据分析智能体技术要求n
14、ewnew数据分析应用服务能力分级要求数据可视化服务能力分级要求数据数据APIAPI服务能力分级要求服务能力分级要求智能化音视频数据服务能力分级要求智能化音视频数据服务能力分级要求供给侧能力标准:供给侧能力标准:数字营销解决方案分级要求:技术能力数字营销解决方案分级要求:服务能力金融风控解决方案分级要求:技术能力金融风控解决方案分级要求金融风控解决方案分级要求:服务能力服务能力大模型驱动的数智营销技术能力要求大模型驱动的数智营销技术能力要求应用侧能力标准:应用侧能力标准:企业数字营销能力成熟度模型企业智能风控能力成熟度模型企业智慧财务能力成熟度模型企业智慧财务能力成熟度模型l 围绕数据智能应用
15、相关技术工具,数据智能服务,业务数智化三大方向开展标准化及评估测试工作。面向通用数据智能技术提供方,为数据智面向通用数据智能技术提供方,为数据智能工具平台的研发、选型和能工具平台的研发、选型和评测提供参考。评测提供参考。面向数据服务提供方,为数据分析应用、面向数据服务提供方,为数据分析应用、数据可视化、数据数据可视化、数据APIAPI、音视频等服务实、音视频等服务实施团队的相关工作提供参考,并助力应用施团队的相关工作提供参考,并助力应用侧开展选型侧开展选型工作。工作。面向数字营销、智能风控、智慧财务、数面向数字营销、智能风控、智慧财务、数字化企业管理等重点业务方向,构建业务字化企业管理等重点业
16、务方向,构建业务数智化能力模型,助力供给侧能力建设和数智化能力模型,助力供给侧能力建设和应用侧应用侧选型。选型。中国信通院数据智能工作介绍大模型+数据智能分析应用标准化工作介绍大模型+数据智能分析应用发展趋势010102020303目录20大模型驱动的智能数据分析工具标准编制背景BI 2.0传统图形化交互式分析工具u 大模型驱动的智能分析工具通过大模型能力提升分析流程中数据准备、洞察发现、结果输出共享等方面的能力,能够以更低的技术门槛、更高的效率使非技术背景人员实现更具深度的分析。人工进行数据编目、数据清洗、元数据管理等工作数据准备通过交互式界面进行数据探索;人工进行建模洞察发现通过仪表盘等方
17、式输出结果;人工对结果进行解释结果输出共享BI 3.0大模型驱动的数据分析工具通过智能算法识别数据架构,并推荐数据清洗规则数据准备支持自然语言方式进行交互;大模型辅助结果分析洞察发现以自然语言或可视化的形式生成见解,推荐后续动作结果输出共享界面交互分析图形化展示对话式分析图形+见解AI代表企业:Co-Pilot随着2023年GPT、AIGC技术的爆火,PowerBI、百度SugarBI、观远BI等团队纷纷推出以BI+GPT为理念的智能数据分析工具。示例:数巅科技AskBI产品示例:浙江移动ChatBI21大模型驱动的智能数据分析工具技术要求标准介绍为了规范大模型在数据分析领域标准化的应用发展,
18、中国信通院联合50余家企业共同研制完成大模型驱动的智能数据分析工具标准。标准包含数据准备、大模型智能分析、智能交互、集成部署、安全管理等六大能力域,18个能力子域,54个能力项。首批通过评估企业:数巅科技、浙江移动、网易数帆、瓴羊quick BI、中电信人工智能、观远数据、数势科技、科大讯飞等10余家企业标准主要参与单位:标准框架编制历程2023年8月启动相关工作调研2023年9月第一次标准讨论会召开四次全体标准讨论会、十余次点对点沟通会2023年11月完成定稿测试证书将于12月数据资产大会颁发22u 知识图谱技术自2012年推出以来,取得了极大的进展,但随着知识图谱的深度应用,知识图谱存在构
19、建难度大、知识更新难、人工介入多等问题,限制了知识图谱落地应用。随着人工智能技术的进步,尤其是大语言模型的崛起,为智能知识图谱的构建和应用注入了新的活力。大语言模型和知识图谱作为两种重要的知识处理技术,正在经历着深度的融合发展。大模型驱动的智能知识图谱技术要求标准编制背景两者融合发展方向知识图谱的优势与局限劣势:构建和维护成本高,在自然语言处理方面存在局限性,知识的广度和更新速度也收到很大限制。优势:结构化的知识表示,能够提供清晰、可解释的信息知识图谱智能生成:借助大模型的助力知识的自动化抽取和知识补全大模型可控生成:通过外挂知识图谱,控制大模型生成内容大模型能力评估:知识图谱帮助大型模型的评
20、测和应用优势:海量的通用知识,并且在理解和生成文本方面表现出色劣势:知识的显式表示、可解释性、偏见处理、泛化能力方面存在挑战大语言模型的优势与局限23大模型驱动的智能知识图谱技术要求标准情况简介中国信通院联合厦门渊亭科技共同牵头,依托TC601拟制定团体标准大模型驱动的智能知识图谱技术要求,此标准规范了数据准备、模型场景化适配、智能试试图谱构建、智能交互应用、知识图谱存储与管理6大能力域,15个能力子域,120余项技术要求。厦门渊亭科技、中电信人工智能等多家企业进行测试,报名火热进行中标准框架:数据准备模型场景化适配智能知识图谱构建智能交互应用知识图谱存储与管理数据接入模型接入与管理智能本体建
21、模自然语言交互知识图谱数据存储数据源管理模型微调及优化智能知识抽取可视化交互知识图谱数据管理智能知识融合智能知识推理知识图谱平台管理知识图谱集成应用编制历程2023年12月启动相关工作调研2024年1月第一次标准讨论会召开四次全体标准讨论会、十余次点对点沟通会2024年4月完成定稿完成首家测试,报名火热进行中主要参与机构:24知识图谱赋能大模型内容生成-Graph Rag技术发展25检索增强生成技术要求标准研制背景知识图谱赋能大模型大模型赋能知识图谱领域知识补充外挂知识库能够为通用大模型的行业化应用提供行业领域知识支撑,弥补通用大模型语料里专业领域知识的不足内容实时更新利用检索生成技术,能够使
22、实时检索最新知识,弥补大模型训练数据更新不及时等相关问题大模型可控生成可以利用知识图谱等外拐知识库在大模型中引入指定约束,适度控制内容生成,提高大模型在行业应用场景中的适应能力。u 检索增强生成(Retrieval-Augmented Generation,RAG)是一种通过检索外部知识库来获得额外语料,并使用 ICL(In-Context-Learning,上下文学习)来改进大型语言模型(LLM)生成效果的范式。RAG能有效地缓解大型语言模型幻觉问题,提高知识更新速度,并增强内容生成的可追溯性,使得大型语言模型在实际应用中变得更加实用和可信,成为大模型在垂直领域落地的重要技术。RAG+大模型
23、=更好的应用效果26检索增强生成(RAG)框架-经典范式(Advanced RAG)27检索增强生成(RAG)技术要求标准发布检索增强生成(Retrieval-Augmented Generation,RAG)是一种通过检索外部知识库来改进内容生成效果的技术方案,通过引入检索过程,从预先构建的数据存储中检索相关的内容,能有效地缓解AIGC技术的幻觉问题,提高知识更新速度,并增强内容生成的多样性和可追溯性。腾讯云ES完成首家测试标准框架:编制历程2023年8月启动相关工作调研2024年TC601扬州全会上标准编制正式启动召开多次全体标准讨论会、十余次点对点沟通会2024年4月中旬完成定稿第一批测
24、试开始报名,测试结果于数据智能产业发展大会上发布知识库构建能力知识检索能力内容生成能力质量评估能力平台能力数据读取查询优化Prompt优化评估指标用户管理数据预处理检索能力大模型生成评估方法数据权限管理内容增强检索结果优化生成内容优化评估数据集模型权限管理索引构建资源及任务管理知识库管理日志管理28大模型驱动的智能知识问答系统技术要求知识图谱赋能大模型大模型赋能知识图谱AI传统知识问答系统利用传统关键词匹配技术进行知识检索,检索效率低、答案匹配精度低知识检索无法理解用户语义,只能通过传统的关键词提取,代替用户意图理解用户问题理解依赖知识库预设置问答对或知识库内容,无法根据知识特点自动生成答案生
25、成大模型驱动的智能知识问答系统利用自然语言理解能力自动识别用户需求用户问题理解理解用户问题,并从知识库、知识图谱、网络等一种或多种信息来源检索相关信息智能知识检索对检索信息进行汇总、整合,生成更具逻辑性和完整性的答案答案生成29最新成果介绍:大模型驱动的智能问答系统技术要求中国信通院联合40余家企业的80余位专家,充分参考各行业智能知识问答系统落地实践经验,研制完成了此项标准,标准包含知识接入及管理、大模型场景化适配、智能问答应用、系统安全管理等四大能力域,13个能力子项,40余个能力项目。编制历程2024年2月启动相关工作调研2024年3月第一次标准讨论会召开四次全体标准讨论会、十余次点对点沟通会2024年4月完成定稿第一批评估推进中主要参与单位:标准框架:知识接入及管理模型场景化适配智能问答应用系统管理知识接入模型接入与管理意图识别权限管理知识管理模型微调及优化问答策略生成日志管理提示词工程智能知识检索系统管理多种交互方式支持多端支持30数据智能体技术发展31“数据智能体”系列标准介绍感谢观看THANKS联系人:韩晓璐电话:18627873252邮箱: