CAII&香港科技大学：2023中国AI大模型工业应用指数报告（15页）.pdf

《CAII&香港科技大学：2023中国AI大模型工业应用指数报告（15页）.pdf》由会员分享，可在线阅读，更多相关《CAII&香港科技大学：2023中国AI大模型工业应用指数报告（15页）.pdf（15页珍藏版）》请在三个皮匠报告上搜索。

1、中国AI大模型工业应用指数中国工业互联网研究院香港科技大学 中国经济信息社2023年10月12党的二十大报告 构建新一代信息技术、人工智能、生物技术、新能源、新材料、高端装备、绿色环保等一批新的增长引擎。中共中央政治局会议（2023年4月28日）要重视通用人工智能发展，营造创新生态，重视防范风险。2023年二十届中央财经委员会第一次会议 要把握人工智能等新科技革命浪潮，推进产业智能化、绿色化、融合化。n 国家高度重视人工智能发展n 工信部持续出台政策文件深化人工智能在工业领域的应用工业互联网创新发展行动计划（2021-2023年）鼓励工业企业综合运用人工智能等技术，发展智能化制造，提升各要素智

2、能化水平，实现全流程.“十四五”信息化和工业化深度融合发展规划 深化人工智能和工业融合应用，通过全面感知、实时分析、科学决策和精准执行，提升生产效率.“十四五”智能制造发展规划 提出加快研发人工智能在工业领域的适用性技术，推动人工智能等新技术在制造环节的深度应用.1.背景：人工智能发展政策体系不断完善3为政府、研究机构、工业企业和社会公众提供一个权威、科学的综合评估，反映大模型技术在工业中的应用程度、产生效益和问题挑战。n 指数意义政府支持：服务于国家决策，帮助判断AI宏观发展趋势。打造通用人工智能与工业融合发展的“风向标”，帮助了解人工智能与工业融合应用的整体与局部发展态势。产品迭代：服务于

3、技术革新，促进大模型应用迭代升级。反映大模型工业应用的优势与不足，促进技术落地、产品升级。业界指导：服务于行业发展，为企业智能化发展指明方向。通过发布该指数，可研判大模型在工业领域各行业应用的成熟度，为行业企业智能化升级提供可行性建议。n 指数体系12.中国AI大模型工业应用指数意义与体系中国AI大模型工业应用指数准确性稳定性主、客观知识准确度概括、分析准确度逻辑、推理准确度自我认知、抗污染准确度文法稳定性数据稳定性上下文精简稳定性上下文扩充稳定性1 指数体系会根据大模型应用发展不断迭代，当前版本关注大模型在工业领域中知识问答场景。指数体系包括准确性指数，稳定性指数等细分指数。n 数据来源：八

4、大行业41.准确性测评报告13.中国AI大模型工业应用指数数据来源1 通用人工智能大模型工业领域知识问答性能评估，https:/china- 人工智能大模型在工业领域知识问答稳定性测评，https:/china- 大行业测试数据集。n 指标数据：准确性与稳定性报告选取工业领域规上企业收入总值前八的行业汇集知识问答数据。指标数据由前期发布的准确性与稳定性实测值计算生成。2.稳定性测评报告2n 国内外综合对比客观准确度主观准确度语句能力概括能力逻辑能力自我认知能力污染分析能力54.中国AI大模型工业应用指数-准确性305070电子设备制造装备制造钢铁采矿电力石化化工建材纺织指数值国内国际n 细分能

5、力对比1n 行业应用情况准确性：在知识问答中能够正确回答问题的能力。整体上，国内大模型能力和国际大模型的能力接近；行业上，国内大模型在电力、钢铁、建材等行业上优势明显，其他行业与国际水平相比有进一步提升空间；细分能力上，国内大模型在自我认知能力和污染分析能力有一定差距，在其它能力维度表现接近。国内57分分国际58分分1 污染分析能力、自我认知能力在指数计算时未单独计算，在细分能力对比图中展示仅为说明国内外大模型在这两方面的差异。客观准确度主观准确度语句能力概括能力逻辑能力自我认知能力污染分析能力64.中国AI大模型工业应用指数-准确性*国内:国际文心一言(百度)在电子设备制造、钢铁、建材等行业

6、位于第一梯队，有较强的语句能力、逻辑能力、概括能力。ChatGLM（智谱）在装备制造、采矿、电力行业位于第一梯队，有较高的主观准确度，有较强的语句能力和概括能力。n 行业能力对比n 国内大模型准确性第一梯队（排名不分先后）工业领域国内外对比*电子设备制造业66:70装备制造业63:62钢铁行业62:60采矿行业52:56电力行业60:51石化化工行业56:61建材行业55:51纺织行业50:53客观准确度主观准确度语句能力概括能力逻辑能力自我认知能力污染分析能力客观准确度主观准确度语句能力概括能力逻辑能力自我认知能力污染分析能力360智脑（360）在装备制造、采矿、石化行业位于第一梯队，有较高