《中国开源软件推进联盟&IBM：2024可信赖的企业级生成式AI白皮书（195页）.pdf》由会员分享，可在线阅读，更多相关《中国开源软件推进联盟&IBM：2024可信赖的企业级生成式AI白皮书（195页）.pdf（195页珍藏版）》请在三个皮匠报告上搜索。

1、?1 版权声明?本报告相关部分版权属于中国开源软件推进联盟或 IBM（中国）有限公司，并受法律保护。转载、摘编或利其它式使本报告字或者观点的，应注明“来源：中国开源软件推进联盟、IBM（中国）有限公司”。违反上述声明者，权利将追究其相关法律责任。?2 可信赖的企业级成式智能书?编写委员会编写委员会?顾问：顾问：陆群?策划：策划：谢东?程海旭?刘澎?梁志辉?孟繁晶?主编：主编：程海旭?刘泽宇?延霞?罗东?张颖?刘晓?孟迎霞?鞠东颖?作组：作组：（按照姓字排列）?默涵?程杰?初德?董琳?樊斐?冯媛?葛巍?韩艳艳?姜朋慧?荆琦?李博?李?廖静?刘佳怡?刘默驰?隆云滔?忠?徐斌?徐孝天?杨军?杨悦?元

2、中?袁怿?原雪洲?臧倩?张侃?张明?赵则名?朱茉?庄雪吟?贡献者贡献者：（按照姓字排列）?曹岚?陈栋?丁伟?都娟?何蕾?李变?李玲?刘俊?刘胜利?倪栋?聂锦程?庞峥?沈海军?孙盛艳?王彩彩?王积杰?王君?吴敏达?杨继辉?姚勇?张家驹?赵登科?赵蓉?郑维珺?3?序?成式智能触发了新轮智能浪潮，智能（AI）正在以前所未有的速度和规模，重塑着我们的活和和作式，在推动经济转型和社会进步中展现出巨的潜。?企业是技术与创新转化为核产的重要载体，那么企业在 AI 时代，如何打造新产具形成新产，帮助企业产销的产品持续的迭代与进化？?可信赖的 AI 的重要性不喻。2019 年，我发表了“评智能如何向新阶段”？?

3、触发了业界对智能发展向的热烈讨论。同年 8?份，COPU 提出研发 XAI?的任务，倡议机器学习、深度学习必须克服其的缺陷，打破盒痼疾，建可解释的机器学习模型，实现可解释、可信赖的智能，这在国内乃全球都是最早提出这个任务的少数机构之。2020?年 6?，COPU?主办第 15?届开源中国开源世界峰论坛，邀请?IBM?副总裁 Todd?Moore?在会上作“可信任智能（反欺诈、可解释、公平性）”的报告，IBM 程海旭团队与 COPU 在此话题也进多次研讨,?并且应 COPU 要求写了三篇章回应 COPU 提出的问题。并且，IBM 开源了针对反欺诈、可解释性和公平性的 AI 具套件，也标志着可解释

4、性 AI（XAI）的重要进展。IBM 作为全球 AI 治理平台的领导者，致于将前沿科技转化为产，为企业提供开放、可信、有针对性的 AI 解决案，共同开启企业级可信 AI的新时代。?在如何帮助企业采 AI 新技术形成新质产，尤其是当前 AI 技术新异、百模战，技术重塑业务有其复杂性、差异性与多样性，在模型的选择、训练与调优、数 4 据的准备等技术问题，乃场景价值、投与产出等策略性问题上，都有着不同企业的疑虑与困惑。书对于企业关注的 AI 模型及平台、数据治理以及 AI 治理等重点领域都有先进经验与理念的分享。在场景价值，书通过深分析汽、融等业的成功案例，展了 AI 技术如何助企业实现转型和创新。

5、在未来，智能的发展将继续以可信、安全为标，依托算法、算、数据为核，帮助企业在 AI 智能时代持续进化，进推动社会智能化的全发展。?本书也强调开源在推动 AI 发展中的重要作。开源不仅促进了技术的透明性，还加速了研发进程，为构建开放、共享、协同、由的 AI 态提供了坚实基础。相信可信赖的企业级成式智能书的每位读者都会开卷有益。?陆群教授?中国开源软件推进联盟名誉主席?5 前?2024 年 3 李强总理代表国务院在四届全国次会议上作的政府作报告中，次提出了开展“智能+”动，这表明国家将加强顶层设计，加快形成以智能为引擎的新质产。?在企业端，智能产业的发展已驶快道，“让 AI 成为核产”已经成为企业

6、领导的迫切需求。据中国信息通信研究院公布的数据，2023 年中国智能核产业规模达到 5784 亿元，增速 13.9%?1。根据肯锡研究报告，到 2030 年前，成式 AI 有望为全球经济贡献约 7 万亿美元的价值，其中中国有望贡献其中约 2 万亿美元，将近全球总量的 1/3?2。?AI 不仅可以推动整体经济和 GDP 的幅增，还将为那些善 AI 的个和组织带来前所未有的竞争优势。放眼全球，成式 AI 对科技业将产最为显著的影响；在中国，先进制造、电与半导体、消费品、能源、银将是受影响最为显著的 5 业。?基于此，IBM 联合中国开源软件推进联盟(?COPU,?China?OSS?Promoti

7、on?Union)，结合双对企业应成式 AI 的深刻洞察、技术研究和业务实践，共同发布此报告，致于推动企业效、可信、负责任地应成式 AI，帮助企业打造新的竞争，成为 AI 时代的真正受益者。?本报告先阐述了成式 AI 的演进和现状、全球法和治理概况、应前景和商业价值、险与挑战、企业应的关键因素；其次，对企业级成式 AI 的参考架构进了全介绍，包括 AI 模型平台、数据平台和服务、治理、基础撑平台、AI 应，并展了具有代表性的企业级应成式 AI 的真实案例和实施价值；最后提出企业应成式 AI 的战略规划法及步骤，并对成式 AI 的未来发展进了展望。?6 录录?引与背景引与背景?.?8 8?1.1

8、?成式智能的定义与演进?.?8?1.2?成式智能应的现状?.?11?1.3?成式智能的险及全球法、治理概况?.?12?企业应智能的机遇与挑战企业应智能的机遇与挑战?.?1616?2.1?成式智能的应前景与商业价值?.?16?2.2?成式智能带来的技术与技术挑战?.?19?2.3?成式智能在企业应中的关键因素?.?23?三三?企业级成式智能的技术、产品与解决案企业级成式智能的技术、产品与解决案?.?2929?3.1?企业级成式智能参考架构?.?29?3.2?智能平台和服务?.?32?3.3?数据平台和服务?.?63?3.4?基础撑平台?.?94?3.5?成式智能的企业级应?.?98?四四?成式智

9、能治理成式智能治理?.?117117?4.1?成式智能治理框架?.?117?4.2?融 AI 全命周期?.?118?4.3?成式智能模型治理技术?.?120?7 4.4?成式智能模型治理具?.?125?4.5?成式智能数据治理?.?129?4.6?成式智能在基础撑平台治理的新趋势?.?137?4.7?成式智能治理的指标矩阵?.?138?4.8?成式智能治理的结与展望?.?139?五五?企业级成式智能的规划与实施法企业级成式智能的规划与实施法?.?140140?六六?企业应成式智能的参考案例与实施价值企业应成式智能的参考案例与实施价值?.?144144?6.1?IBM 案例?.?144?6.2?

10、其他案例?.?159?七七?企业级成式智能的未来展望企业级成式智能的未来展望?.?166166?参考献参考献?.?172172?附录附录?watsonx.aiwatsonx.ai 基础模型库基础模型库?.?178178?附录附录?智能指标智能指标?.?180180?附录三附录三?名词解释名词解释?.?190190?致谢致谢?.?193193?8?引与背景引与背景?1.11.1 成式智能的定义与演进成式智能的定义与演进?1.1.11.1.1 成式智能的定义成式智能的定义?成式智能（Generative?AI）是智能技术从上世纪 50 年代开始后，经过专家系统、机器学习两个发展阶段，演进到 201

11、0 年代初出现的种深度学习模型（如图1）。它通过学习数据分布模式和规律，成质量的本、图像、频、视频四基础模态，以及跨模态内容成。?例如，通过学习量本数据，成式 AI 可以成具有类似格的章、说、诗歌等本作品。通过学习图数据分布规律，成式 AI 可以成符合该分布规律的全新图。通过对频的深度学习，成符合不同场景需求的数字播报、语客服、智能家居。使深度学习模型对图像或视频进分析和理解，再根据特定算法成新的视频。最后，这些不同的模态还可以实现跨模态转化和成，如将本转化为图像、频或视频，将图像转化为本、频或视频，应于艺术创作、告营销、教育培训、医疗诊断等领域。?成式 AI 与之前传统 AI（也可称为判别式

12、 AI?Discriminative?AI）最根本的不同在于：创造。成式 AI 具有更的灵活性和创造，可以更好地模拟类的想象和创造，成更加多样化和全新的数据内容。判别式 AI 则主要专注于已有数据的分类和预测，通过学习数据特征和标签之间的关系，进模式识别和预测。例如判别式 AI 只可以区分出猫和狗的图，成式 AI?则可以成逼真的狗的图。?9 基于这样不同的技术路径，成式 AI 与判别式 AI 的成熟程度与应向也不同。判别式 AI 的底层技术相对成熟，在各个领域都有泛的商业应，包括脸识别、推荐系统、控系统、机器、动驾驶等。成式 AI 则在 2015 年前后才开始迅速发展，主要应在内容创造、机交互

13、、产品设计等全新领域。?1.1.21.1.2 成式智能的演进成式智能的演进?成式?AI?技术从?2010?年代初出现后，发展到 2022 年底，主要经历了三波浪潮：?第波浪潮：第波浪潮：2 2010010-20152015年。型模型蓬勃发展。年。型模型蓬勃发展。?变分动编码器?(variational?autoencoders,?VAEs)?是第个泛于成逼真图像和语的深度学习模型，为当今的成式 AI 奠定了基础，也是当今语模型（large?language?models,?LLMs）的基础。VAEs 基于编码器和解码器块构建成。具体来说，编码器将数据集压缩为密集表形式，在抽象空间中将相似的数据

14、点排列得更紧密。解码器从这个抽象空间中进采样以创建新内容，同时保留数据集的最重要特征。VAEs 不仅增强了重建数据的关键能，且还可以输出原始数据的变化形式。?这种成新数据的能引发了系列型模型的快速发展，其中 2014 年出现的成式对抗络?(generative?adversarial?networks,?GANs)?具有突破性影响。GANs 由成器和判别器组成，通过同时训练成器和判别器来学习成新的数据实例，以及更具创造性和多样性的本。?第波浪潮：第波浪潮：2 2015015年年-20172017年。模型规模竞赛起云涌。年。模型规模竞赛起云涌。?这个阶段，成式智能领域出现了越来越多较规模的模型。

15、特别是基于循环神经络（recurrent?neural?networks,?RNN）和卷积神经络（convolutional?neural?10 networks,?CNN）的成模型，能够更好地捕捉上下信息，成更连贯、准确的本，成更加逼真的图像。?例如，2015 年，在计算机视觉领域，残差络（residual?network,?ResNet）取得了突破性进展，这是种深度卷积神经络，能够在图像识别任务中取得更好的效果。2016年，歌推出的 AlphaGo 成为第个在围棋赛中战胜类职业选的智能程序，这标志着智能在游戏领域的重突破。?第三波浪潮：第三波浪潮：2 2017017年年-20222022年

16、。基础模型横空出世。年。基础模型横空出世。?2017 年，程碑式论“Attention?is?all?you?need”提出种全新的神经络架构：Transformer。Transformer 使种全新的注意机制来处理序列数据，与之前传统的循环神经络需要动设计或学习完全不同。具体来讲，Transformer 将“编码器-解码器”架构与本处理机制相结合。编码器将原始本转换为“嵌”表。解码器将这些嵌与模型之前的输出相结合，并连续预测句中的每个单词。通过填空猜谜游戏，编码器可以了解单词与句之间的关系，需任何标记词性。Transformer 甚可以在未指定特定任务的情况下进预训练。学习这些强的表之后，就

17、可以使更少的数据来增强模型的专业化平，以便执给定的任务。Transformer 因其全多样的功能被称为基础模型。?同时，这个阶段的算出现爆发式增，并随着互联、移动互联的快速发展，数据也迎来指数级增。这为规模监督或半监督的学习法提供了强的数据和算保障，从使得基础模型获得巨成功，加速和扩了成式 AI 在企业中的应领域，如动驾驶、机器流程动化等。根据 IBM 发布的2022 年全球 AI 采指数，全球企业采 AI 科技的例持续成，达到 35%，2021 年上升 4%?3。?11 1.21.2 成式智能应的现状成式智能应的现状?2 2022022年底今，成式年底今，成式AIAI进到第四波浪潮：更好、更

18、快、更便宜的成式进到第四波浪潮：更好、更快、更便宜的成式AIAI产品。产品。?2022 年可以说是成式 AI 发展的个重要程碑。继 2022 年 11 30 OpenAI打响 chatGPT 第枪后，全球领先商都快速地发布了的成式 AI 产品，包括亚逊云科技的 Bedrock，微软 Azure 的 OpenAI?Service，IBM 的 Watsonx，歌的 Bard，阿的通义千问，腾讯的混元，百度的。如果说之前的 AI 模型都是具，这波浪潮的 AI 模型因为有接近全类所有数据的撑，成为脑。据不完全统计，截到2023 年 10，中国的成式 AI 产品已超 300 个。从产品类型来看，主要包括

19、本成、图像成、视频成三类，其中本成的市场规模最，占到了整个市场的 60%以上。图像成市场增迅速，视频成市场尚处于起步阶段。?随着成式随着成式AIAI技术的快速成熟，将出现第五波浪潮：杀级应程序技术的快速成熟，将出现第五波浪潮：杀级应程序?(Killer?APP)Killer?APP)的出的出现。现。?随着模型产品益增加，模型业竞争将从拼参数阶段，过渡到拼落地应阶段，会出现杀级应程序。Google 推出 Gemini?1.5 和 GPT-4 你追我赶，竞争激烈。百度在 2003 年 10 17 的百度世界 2023 会上，发布了达模型 4.0 版本，实现了基础模型的全升级，综合能 GPT-4 毫

20、不逊。百度同时发布的余款 AI 原应，涉及搜索、地图、库、盘，以及 AI 原思维打造的国内第个成式商业智能产品百度 GBI，可以通过然语交互，执数据查询与分析任务，还持专业知识注，满更复杂、专业的分析需求?4。2024 年 2 Sora 产品的发布，更是让视频成实现了代际跃迁，让虚拟现实成为可能。?12 1.31.3 成式智能成式智能的险及全球法、治理概况的险及全球法、治理概况?1.3.11.3.1 成式智能的险成式智能的险?成式智能在快速发展的同时，也存在着些潜在的险，其所带来的与隐私保护、成内容错误和幻觉、络安全、偏与伦理、知识产权等相关的险已经显现。具体：?数据隐私保护：数据隐私保护：训

21、练数据如涉及商业秘密、保密信息等，或者未经同意，则可能涉及法收集数据、侵犯个隐私、侵犯他知识产权或其他合法权益的情形。?成内容错误和幻觉：成内容错误和幻觉：成式 AI 依靠输的数据进预测和成输出。但是，它有时会产不准确或完全捏造的输出结果即“幻觉”。这些幻觉可能会导致错误的决策或动，从可能给企业带来重问题。?络安全：络安全：与任何数字具样，成式 AI 系统也不能免受络威胁。如前所述，这些智能系统有可能会被诱骗泄露敏感信息。因此，显然要制定强有的络安全协议。另种新出现的威胁是“提注”，这是技术会利提来哄骗智能模型泄露本不该泄露的信息。更重要的是，实施这种技术并不定需要级技术技能。因此，席安全官定

22、要全掌握成式 AI 可能遭到破坏的所有式。只有了解每种可能的攻击途径，他们才能真正保护的系统并保持强的防御能。?偏与偏与伦理：伦理：智能的公正性取决于训练智能所依据的数据。如果这些数据中存在偏差，模型可能从训练数据中学习到偏，进成带有种族、性别、宗教等的偏内容。此外，还可能会出现其他伦理问题，如使成式 13 智能伪造艺术品、成虚假件、虚假新闻、伪造声、络钓攻击、动化的络欺诈等，所有这些都是企业需要考虑的问题。?知识产权。知识产权。随着知识产权领域的不断发展，2023年或许将迎来成式AI规模应的“Netscape时刻”。随着公共数据和内容所有权的公平使的相关政策、规则和诉讼不断增加，成式AI也有

23、可能迎来“Napster?时刻”（指业的知识产权在互联上公开、低成本地传播）。事实上，这些险可能会促使企业更加关注专有数据和AI模型。?为了应对这些险，很多国家正在努制定伦理准则、监管政策，励技术改进，以确保成式智能的安全和道德使。?1.3.21.3.2 全球法、治理概况全球法、治理概况?成式智能的速发展为各国法和监管带来了新的挑战。由于智能技术的复杂性，与智能的开发、销售和使相关的法律问题涉及范围很，包括络安全、数据安全、隐私、算法、内容、智能治理、知识产权、市场准、反垄断与竞争、技术进出等。因此，与智能有关的法亦包括系列的法律法规，不仅包括专规范成式智能的法，还包括治理络安全、数据安全、隐

24、私保护和上述其他的法。?本章节简要介绍截 2024 年 3 中国、美国和欧盟关于成式智能的法概况。?中国中国?14 2023 年 7，中国国家互联信息办公室（“信办”）等七部联合发布了中国部关于成式智能的规定，即成式智能服务管理暂办法（“暂办法”）。该办法 2023 年 8 15 开始执。利成式智能技术向中华共和国境内公众提供成本、图、频、视频等内容的服务属于暂办法规制的范畴。但暂办法明确将从事成式智能技术研究、开发和应的业组织、企业、学术研究机构、公共化机构等公共服务提供者排除在其范围之外。?除此之外，中国现有的络安全、数据安全和隐私保护相关法律法规，连同与智能相关的算法管理、深度合成管理、

25、伦理准则等相关规定，均与暂办法起，共同建我国成式智能服务的法律框架。?美国美国?在联邦层上，宫、国会和系列联邦机构，包括联邦贸易委员会、消费者融保护局和国家标准与技术研究所，已经提出了系列与智能相关的举措、法律和政策。在短期内，美国的智能监管将更多地利现有法律来对智能技术进监管，不是通过新的针对智能的法律?5。?欧盟欧盟?2024 年 3 13，欧洲议会以压倒性票数通过智能法案。该法案预计将在5 或 6 在完所有审批程序后正式效。法案中的相关条款将分阶段实施?6。该法案旨在保护基本权利、主、法治和环境可持续性免受险智能的影响，同时兼顾 AI技术的发展和创新?7。智能法案根据险级别对智能的使进分

26、类，禁智能在特定的使，并对险应实施严格的监测和披露要求?8。?15 尽管全球对成式智能的法和监管措施在不同国家和地区有所不同，但般来说，些共同的趋势和原则逐渐出现，很多国家的法重点通常集中在数据隐私、透明度和可解释性、络安全、内容审核、知识产权保护、伦理审查和反垄断等领域。?总的来说，成式智能的法和监管仍在不断演进，以适应不断发展的技术和社会挑战。各国政府和国际组织都在努寻找平衡，旨在确保技术的发展与社会、伦理和法律价值相致。相关法律和政策仍在不断发展和完善过程中。?16?企业应智能的机遇与挑战企业应智能的机遇与挑战?2.12.1 成式智能的应前景与商业价值成式智能的应前景与商业价值?2.1.

27、12.1.1 成式智能的应前景成式智能的应前景?成式智能的最终浪潮：世界模型的通智能（成式智能的最终浪潮：世界模型的通智能（A AGIGI），全新的机协同时代。，全新的机协同时代。?随着智能被投喂的数据变为切与我们的产、活息息相关的世界万物时，它会成为基于世界模型的通智能。这个智能将会带来理解、成、逻辑、记忆能的突破，会出现独当的各类专业才：数字艺术家、数字设计师、数字程序员、数字程师、数字供应链专家等等。我们预计，到 2030 年，全能型、多模态的智能将进步普及，类的产活将进全新的机协同时代。成智能有潜彻底改变现有的经济和社会框架，就像电和互联样。?2.1.22.1.2 成式智能的商业价值成

28、式智能的商业价值?当下，“让 AI 成为核产”已经成为企业领导的迫切需求。预计到 2030 年，AI将提升类产，带来达 16 万亿美元的巨价值?9。AI 不仅可以推动整体经济和GDP 的幅增，还将为那些善 AI 的个和组织带来前所未有的竞争优势。不仅如此，AI 还可以帮助类应对和解决诸如研发新药、改善制造业及品产效率、应对候变化等最为紧迫的挑战。?IBM?商业价值研究院最新发布的2023 年全球?CEO?调研发现，四分之三（75%）的 CEO?认为拥有最先进的成式?AI?的组织能够在竞争中获胜，43%?的?CEO?17 表他们的企业已经在使成式?AI?来为其战略决策提供信息。企业级?AI?对企

29、业最直接的价值是帮助优化业务流程，从实现降本增效、提产、以及提升客体验。为了对成式 AI 的商业价值进更加客观的评估，IBM 商业价值研究院?(IBV)?联合津经济研究院，在 2023 年 5 针对美国、澳利亚、德国、印度、新加坡和英国的近 600?名企业管开展了项调研，其中包括美国的?200 位企业 CEO。在此次调研中，我们发现企业管对成式 AI 商业价值的观点，可以总结为以下三点：?第：对成式第：对成式AIAI的投资回报积极乐观，但仍存谨慎态度。的投资回报积极乐观，但仍存谨慎态度。?受访企业管预计，到 2025 年，基于过去年开发的基准 AI 能，成式 AI 的投资回报率将从 2022

30、年的 7.1%增到超过 10%?10。因此，许多企业都计划在未来两年内继续推动成式 AI 的采。在 2022 年，只有?23%?的受访管表其组织对成式 AI 进了试点、实施、运营和优化，但预计到 2024 年这例将上升?62%?11。另外，在未来两到三年内，企业管对成式 AI 的投资预计将增四倍。但是，即使这样，成式 AI项的投资仍然仅占 AI 总出的部分?10。说明受访管对成式 AI 的投资还是持谨慎态度。?第：对成式第：对成式AIAI的加速采临巨压，但仍在努掌握中。的加速采临巨压，但仍在努掌握中。?先，根据 IBV 的调研，64%的受访 CEO 表正临着来投资者、债权和贷款的巨压，要求他们

31、加速采成式 AI。超过半的受访 CEO 表，他们的员要求加速采成式 AI（如图?1）?12。?18?图?1?实施成式 AI 的压来源?对这样的压，企业管快速掌握成式 AI 技术。他们如今对成式 AI 的认知平远于 2016 年传统 AI 出现第波发展浪潮时的认知平（如图?2）?10。?图?2?企业管对 AI 的认知平变化?第三：成式第三：成式AIAI的应领域较集中，但仍需与企业战略保持致。的应领域较集中，但仍需与企业战略保持致。?我们的调研数据显，前受访企业管主要关注成式 AI 在三个关键领域的应：信息安全与信息技术，客服务、营销与销售，研究与创新和产品开发（如图?3）?11。?19?图?3?

32、企业管关注成式 AI 的应领域?同时，我们也看到，管前关注的这些优先领域多是那些拥有最成熟 AI 能的领域，并不定是战略痛点。因此，组织需要根据的战略能和业务优先事项来明确AI 的应领域，确保 AI 的使符合企业的期战略，不是将 AI 视为解决所有问题的“灵丹妙药”。?2.22.2 成式智能带来的技术与技术挑战成式智能带来的技术与技术挑战?尽管成式 AI 具有阔的前景和潜，但同时也带来了些新的挑战。与其他颠覆性技术样，企业在采成式 AI 的过程中，也需要做出适当的权衡，经过持续不断的实验和迭代才有可能取得成功。?2.2.12.2.1 成式智能带来的技术挑战成式智能带来的技术挑战?成式智能主要包

33、括两核要素：海量数据、规模算。?先，海量数据会带来以下先，海量数据会带来以下8 8技术挑战：技术挑战：?20 隐私隐私安全性安全性：智能模型处理量的个数据，隐私和安全性是个重要关注点。保护数据的隐私，防数据泄露和滥是个挑战，特别是在跨组织或跨边界数据共享的情况下。采隐私保护的机器学习法和安全数据分析技术，以便在保护隐私的同时实现机器学习的任务。?数据可得性数据可得性：海量、多源、动态更新的数据是训练模型和进数据挖掘的必要条件。然，对于某些领域和特定任务，获取够量和质量的数据是项重挑战。例如，某些领域的数据可能度稀缺，或者数据的标注常困难和耗时。在这些情况下，使量数据训练模型可能不切实际。?数据

34、准确性数据准确性：智能模型的训练需要量质量的数据，并且通常需要对数据进标注。数据质量和标注的准确性是个挑战，因为错误或不致的数据可能导致模型训练不稳定或性能下降。此外，对于某些任务，如图像识别和然语处理，数据的标注通常需要类专家参与，这使得数据标注的成本变得常昂。?模型泛化性模型泛化性：智能模型在训练数据上表现出，但在未过的数据上可能泛化能不。过拟合是个常的问题，即模型在训练数据上过度拟合，在新数据上的表现较差。选择适合的模型常重要，这需要仔细地选择模型的超参数和架构，以便提模型的泛化能。?模型解释性模型解释性：?智能模型通常被视为盒，即很难理解模型的决策和推理过程。这在某些应场景中是不可接受

35、的，如医疗和融领域，因为解释模型的决策对于决策的可信度和可解释性关重要。为了解决这个问题，研究员正在研究可解释性的机器学习模型和法，以便更好地理解模型的决策过程。?21 模型适配性模型适配性：在智能模型的开发中，选择合适的算法和模型架构是关键。然，从众多的算法和模型中选择最合适的个可能是具有挑战性的，因为不同的任务和数据可能需要不同的模型来实现最佳性能。?模型可扩展性模型可扩展性：随着模型规模的增，智能模型的可扩展性和效率成为挑战。模型需要更多的计算资源和存储空间，对于实时应或边缘计算等资源受限的场景是否能效运是个问题。?模型效性模型效性：优化模型的架构和参数，减少模型的计算和存储需求。采模型

36、压缩和量化技术，滅模型的规模，提计算效率。使分布式训练和模型并化技术，提模型训练和推理的速度和效率。?其次，规模算同样也会带来其次，规模算同样也会带来3 3技术挑战：技术挑战：?算强性算强性：成式 AI 需要处理海量的数据，这就需要强的计算能和存储能。根据2022-2023 全球计算指数评估报告，成式 AI 计算市场规模将从 2022 年的 8.2 亿美元增到预计的 2026 年的 109.9 亿美元，其占整体 AI 计算市场的份额也将从 4.2%增到 31.7%?13。?算可性：算可性：对于智能模型的训练和应，算可性是个重要的因素。由于模型需要量的计算资源，包括性能的计算设备和型存储空间来存

37、放数据和模型，这对于许多组织和研究员来说是挑战。除了硬件资源外，络带宽和延迟也是影响模型应的重要因素。在分布式系统中，训练模型通常需要将量的数据从个节点传输到另个节点，这需要带宽的络连接和低延迟的通信。如果络连接的速度很慢或者存在量的延迟，那么训练模型的时间将会增加，这可能会使得组织和研究员难以承受。?22 算算优化性优化性：成式 AI 的训练和推理过程需要量的计算资源，因此需要不断优化算法和模型，降低计算复杂度和内存占，提计算效率。同时，在处理规模数据时，如何提单芯算、突破算利率、实现更能效，是算基础设施需要对的重要挑战。?2.2.22.2.2 成式智能带来的技术挑战成式智能带来的技术挑战?

38、除了技术挑战之外，成式 AI 还会带来些技术挑战，主要包括以下 4 个：?监管必要性：监管必要性：成式AI从诞之起，已迅速实现了“消费化”。这种规模采意味着些可以在没有正式指导的情况下使成式AI。他们在没有护栏的情况下使成式AI，其为可能法受到监管，并且可能会导致不可预测的后果。如果缺乏适当的监督，组织就法正确识别、量化或管理采新兴技术的相关险。在全球范围内，只有不到60%的受访管认为其组织已经为AI监管做好了准备，69%?的受访管预计会因采成式AI受到监管罚款?14。因此，组织需要安全、负责任地利强的成式AI，明确想要实现什么样的标，以及实现这愿景所需做出的改变。?社会伦理性：社会伦理性：智

39、能模型的发展和应引发了许多伦理和社会问题，包括公平性、透明度、责任和权益等的考虑。因此，需要制定相应的政策和规范来确保模型的公正和可接受性；制定合适的法律法规和伦理准则，确保智能模型的使符合道德和法律要求；开展公开和透明的讨论，促进社会对智能技术的理解和参与；注重公平性和权益保护，进数据脱敏和去偏倚处理，避免对特定群体的歧视和偏。?23 环境保护性：环境保护性：基础模型需要量的计算、存储和络资源，这会消耗量能源，产碳排放，给环境保护和候变化带来了巨挑战。据研究，训练个型然语处理模型的碳迹与5辆汽在其整个命周期中的碳迹致相同。因此，企业应该适当考虑相关环保性。同时，社会各界正在研究如何加快模型推

40、理速度、降低算成本、减少能耗，以此来突破预训练模型的发展制约。?机协同性：机协同性：随着 AI 时代到来，企业需要快速实现员技能的转型和提升，来拥抱 AI浪潮。技术加速使每个都变成了“超级个体”，和机器的协作关系重新被定义和划分。才需要合理地借助具和技术，审时度势，提升价值与战。才技能的转型往往伴随组织化的更新，优秀公司早已把励创新和学习的基因扎根在企业化之中。?2.32.3 成式智能在企业应中的关键因素成式智能在企业应中的关键因素?企业在应成式 AI 时，需要重点关注三关键因素：?第个关键因素：组织和技能。第个关键因素：组织和技能。?根据 IBV 调研，多达 80%的受访管认为，由于成式 A

41、I 的兴起，劳动和技能正在发变化。展望未来，受访管表才和技术技能关重要，组织将优先建和发展既能帮助员使成式 AI，能完成只有类才能胜任的作技能。随着成式 AI的益普及，57%的受访管预计创造技能将变得更加重要。超过半的受访管认为技术技能、时间管理和优先级规划能的重要性也会随着成式 AI 的普及幅增加?15。?24 另外，我们从调研中也发现，87%的管预计成式 AI 将更加泛地增强员的能，不是取代他们（如图?4）?15。?图?4?企业管预计成式 AI 对员技能的影响?但是，并所有职能的员都会受到同等程度的影响。从上图我们可以看到，受访管预计会成式 AI 取代的最多的三项职能是：营销、客服务、资源

42、。最不可能取代的三项职能是采购、险和合规、财务。线员可能会受到最的影响，但也可能受益最多。?因此，为了帮助企业全员更好地适应和承担在不断变化的作场所中的新和新责任，企业管应全领导并推动成式 AI 转型。?先，在组织层，从转变观念、设定标、建原则、营造化。先，在组织层，从转变观念、设定标、建原则、营造化。?从“+AI”的被动思维转变为“AI+”的主动思维，即在设计之初就以 AI 为中，这将有助于更深地理解成式 AI，增强响应市场形势变化的敏捷性，并确保投资和资分配与整个组织各个层的持相致。定义成式 AI 采的财务和财务标，并确定具体、可量化的措施，包括希望员积极接受的变。为 AI 的伦理道德使设

43、定界限。成式 AI 模型很强，但必须负责任地使它们。这包括尊重隐私、透明度、公平性和问责 25 制。积极营造试验化，认识到成式 AI 对所有都是新事物。励团队使成式 AI进测试、迭代和改进，并跟踪成功指标。?其次，在才层，从选育留着。其次，在才层，从选育留着。?了解才资源的来源和分布情况，认识到潜在技能短缺，并将顶尖才分配到竞争优势最关键的领域。评估成式 AI 对员团队的潜在影响，跨职能重新定义或重新部署，增强技能互补，依靠团队合，以更好地利成式 AI。并成 AI 技能学院，对具有相应资格的员进再培训和/或技能提升培训，不仅优先发展技术技能，还应优先增强协作、沟通和同理。课程还应涵盖基础模型的

44、合理使和不当使，从促进负责任的 AI使。在培训的基础上，启动激励计划以推动职业发展。?最后，从运营层，最后，从运营层，为了加快为了加快AIAI的采，的采，企业需要企业需要重塑和重建运营模式重塑和重建运营模式。?具体举措包括：促进跨职能理解，简化 AI 部署流程，并确保在整个组织中实现成式AI 和基础模型的优势；建 AI 集成框架，以便在整个运营中缝部署 AI；建符合监管标准和最佳实践的稳健型数据与 AI 治理实践；在不同业务部、技术团队、数据科学家和决策者之间营造种协作式环境等。?第个关键因素：负责任第个关键因素：负责任AIAI与伦理。与伦理。?成式?AI?如同当年的“西部淘热”，对财富的追逐

45、已经超过了规则和法规。但是如果组织太急于求成，未考虑复杂的 AI 伦理问题，就可能会因短期利益损害期声誉。?根据 IBM 商业价值研究院调研：58%受访管认为采成式 AI 存在重伦理险，如果没有新的治理结构或者少更加成熟的治理结构，就法管理这种险?16。然 26，许多管都难以将原则付诸实践。尽管 79%的受访管表 AI 伦理对其企业级 AI 法很重要，但只有不到 25%的受访管实施了 AI 伦理的共同原则?17。?因此，企业可以从以下三个举措，更好地构建企业负责任的 AI 和伦理体系：?先，先，CEOCEO 不能在不能在 AIAI 伦理问题上推卸责任伦理问题上推卸责任。根据 IBM 商业价值研

46、究院调研，80%的受访管表，企业领导者（不是技术领导者）应当对 AI 伦理负主要责任?17。CEO 必须掌控全局并为其他开辟道路。除了决策以外，CEO 还必须负责向其他领导者普及关于新兴伦理问题的知识。通过将关于可信 AI 的对话提升到其他级管理层和董事会的层，CEO 可以确保这些关键利益相关者不会被边缘化。这样组织可以加快动速度，同时保持领导层协同致。?其次，其次，通过满客期望来赢得信任。通过满客期望来赢得信任。建个值得信任的品牌需要数年的时间，摧毁它只需要天的时间。在数据泄露和不信任的时代，消费者、员和合作伙伴对不以诚信事的企业毫不宽容。根据 IBM 商业价值研究院的调研，37%的消费者曾

47、为了保护隐私选择更换了品牌?18。69%的受访员表，他们更愿意接受那些他们认为具有社会责任感的组织的作机会?19。组织内需要建下上的协作信任化，让 AI 伦理成为每个的责任，并让 AI 治理成为项集体共同标。同时，组织从内外，需要泛、透明地传达企业的伦理价值观。在内部对员进再培训，确保在作中合理运 AI，避免不当运?AI。在外部，针对合作伙伴开展 AI 伦理和偏识别培训，强调可信 AI 的重要性。?最后，最后，为所有为所有 AIAI 和数据投资做好伦理和监管准备。和数据投资做好伦理和监管准备。超过半?(56%)?的受访 CEO 推迟了重投资，等待对 AI 标准和法规建清晰的认识?20。72%的

48、组织将因伦理顾虑放弃成式 AI 带来的收益?21。企业掌舵者应做好准备，随时根据监管向的转变和新出台 27 的法规做出调整。确保应场景易于解释，AI 成的件清晰可识别，AI 训练保持透明且接受持续批判。建归档化，持续记录组织中使 AI 的所有实例和相关治理，有效管理险。通过清单来记录使 AI 的每个实例，确保 AI 成的资产可以追溯到基础模型、数据集、提或其他输。同时将这些源信息植到数字资产管理和其他系统中。?第三个关键因素：数据和平台。第三个关键因素：数据和平台。?成式 AI 模型需要量数据，负责任地提供数据则需要整个组织的协作。根据?IBV最近开展的项调研，60%的组织尚未建致的企业级成式

49、 AI 法?15。?在混合云旅程中得更远的组织更有可能发挥出成式 AI 的优势，因为云转型需要更全的数据法。但是，主要利云来降低各孤领域成本的组织，可能需要重新审视其法，通过打通孤岛实现互联互通。IBM 商业价值研究院的研究表明，约五分之三的受访管表混合云和成式 AI 在创造价值是相互关联的。另外 40%的受访管仍在竭让其多个不同平台保持协同致?15。?统数据可能是项艰巨的任务，但如果缺乏明确的标，那么可能会得不偿失。不过，基于可靠数据构建的混合云和成式 AI 平台，可以开启通往更有价值的全新态合作的。近三分之的受访管表，成式 AI 可以改善并加速与态系统合作伙伴的数据共享?15。?因此，企业

50、可以从以下三个打造协同致的数据和平台：?先，企业应先，企业应评估并了解创建成式评估并了解创建成式 AIAI 例的数据和混合平台需求例的数据和混合平台需求。这就需要了解企业所拥有的数据类型，以及处理和分析此类数据的计算要求。依据这些需求，设定平台的选择标准，以持使成式 AI 和相关基础模型。这些标准可能包括：例特异性，成本（模型开发和运营费），相关数据的可性和可访问性，预测精度与计算效率之间的 28 平衡，安全措施和协议，所需的定制化程度，系统整体性能，跨不同环境的可移植性，法律和监管标准合规性。?其次，需要评估当前和潜在合作伙伴的实，从中甄选出能够有效满混合平台需其次，需要评估当前和潜在合作伙

51、伴的实，从中甄选出能够有效满混合平台需求，并能为创建差异化优势助的态系统合作伙伴，共创成功。求，并能为创建差异化优势助的态系统合作伙伴，共创成功。企业需要联合这些态系统合作伙伴，确共同的标，使致的指标，并采零信任安全实践，全位提整个态系统的安全性。企业可以利开放式混合技术，为组织和合作伙伴态系统创建致、可扩展和优化的通平台。?最后，最后，将基础模型集成到运营中将基础模型集成到运营中，推动规模部署时，推动规模部署时，需要需要确保可以扩展这些模确保可以扩展这些模型，不会影响业务成效或导致运营中断。型，不会影响业务成效或导致运营中断。这就需要强的模型管理、性能监控和持续改进机制。同时，由于基础模型需

52、要访问量、多样化且可能敏感的数据集，因此要建稳健的数据治理实践。这包括符合监管标准和最佳实践的数据收集、存储、访问、处理和安全协议。?29 三三?企业级成式智能的技术、产品与解决案企业级成式智能的技术、产品与解决案?3.13.1 企业级成式智能参考架构企业级成式智能参考架构?为更好的应对企业成式智能所临的挑战，我们从技术要素、治理要素和规划实施法三维度进企业级成智能参考架构的讨论，并在后续的章节中详细展开。?图?5?企业级成式智能参考架构?3.1.13.1.1 企业级成式智能参考架构的技术要素企业级成式智能参考架构的技术要素?从技术度出发企业级成智能架构的重点技术要素包括：模型平台和服务、数据

53、平台和服务、基础撑平台、企业级应四部分。?章节 3.2 将具体讨论模型平台和服务部分。依托基础撑平台层所提供的基础设施服务，模型平台和服务部分为上层的智能应提供全的撑，其内部可细分为四个技术层：训练框架和周边态、训练加速框架、推理部署管理，以及模型与数据。这个层的功能实现了从模型训练到部署和应的完整链条，可以从容应对型模型应于 30 企业实际场景中需要克服的诸多挑战。基于这些技术功能的撑，我们进步深探讨了模型平台和服务在企业成式智能实施过程中的模型的评估与选择，数据准备，模型训练、优化以及典型应等所扮演的。?章节 3.3 将具体讨论数据平台和服务。数据是成式智能的另基，是企业的重要资产，为更好

54、的满企业对于专有数据的安全合规需要，数据平台和服务在落地实施过程中持考虑多种部署式相结合，这其中本地部署的场景具备定优势。为实现质量可信可靠的数据内容，规避“垃圾进，垃圾出”的险，数据治理必须贯彻相关业务活动的始终。随着智能的发展，在数据平台和服务层涌现出些新需求，为了更好的管理多样化海量数据和知识，实现全位的数据管理，新代数据管理平台演进出了湖仓体的架构。在章中除湖仓体的技术要素之外，我们还注意到开源开放的数据管理技术态能够加速企业创新，快速适应市场变化。?作为承载成式智能落地的基础撑平台，我们以应对规模数据处理，应对算利率，增强机协同三个典型挑战为例，在 3.4 章节探讨了如何在企业数字化

55、转型的过程中更好的应对成式智能应带来的挑战，或现企业级数字化平台如何更效稳定的服务于企业级成式智能的落地实施。?基于以上技术要素，在 3.5 章节继展开探讨了成式 AI 的企业级应。中参考IBM 的组件业务模型作为法论，从业务赋能，研究开发和设计，供应制造和交付，市场销售，客互动各个进了阐述。随着成式?AI?技术的到来，企业对?AI?的应开启了个新的篇章，也将迎来新的“时代”。尽管“让?AI?成为核产”已成为企业益迫切的需求，但实际的落地应却之功。对各不相同的应场景和复杂 31 需求，企业管理者们也产了诸多的困惑。中重点分享了汽、融两业领域在成式 AI 的成功经验。?3.1.23.1.2 企业

56、级成式智能参考架构的治理要素企业级成式智能参考架构的治理要素?从企业的度出发，对于成式智能的治理应该融业务周期的各个环节，同时贯穿从 AI 应到基础设施各个技术层。可解释性、透明性、公平性、健壮性、隐私性是企业级成式 AI 治理的五关键特征。第四章将讨论如何将治理与 AI 全命周期相结合，介绍不同架构层级的相关技术段和具，通过引对应的评估技术和系列量化指标矩阵，从确保在企业级成式智能的可信可靠，帮助企业实现和维护标准的治理平。?3.1.33.1.3 企业级成式智能参考架构的规划与实施企业级成式智能参考架构的规划与实施?企业级成式智能架构的成功，离不开统筹的规划和合理全的实施。第五章将展开规划时

57、企业需重点考虑的组织要素，并结合成式智能的特点展开了全实施的法步骤：了解现状、制定标、规划路径、确定案、统筹协同、执管理、持续优化。?32 3.23.2 智能平台和服务智能平台和服务?3.2.13.2.1 智能平台和服务的总体功能架构图智能平台和服务的总体功能架构图?如图?6 智能平台和服务的总体功能架构图所，智能平台的具体功能可以分为训练框架及周边态、训练加速框架、推理部署管理和模型与数据四个层次，实现了从模型训练到部署和应的完整链条，为各种智能应提供了全的持和服务。?图?6?智能平台和服务的总体功能架构图?训练框架及周边态训练框架及周边态：主要涉及各种智能模型的训练框架和相关的态系统，包括

58、各种开发具、库和框架，以及数据处理、模型评估等辅助具。?训练加速框架训练加速框架：主要关注如何提模型训练的速度和效率，涉及分布式训练框架，以及各种加速算法和优化技术，旨在提平台的整体性能。?推理部署管理推理部署管理：主要涉及模型的部署、管理和运，推理引擎的选择和配置，以及运时的监控和管理等作。?模型与数据模型与数据：这层可分为知识程和基础模型两部分。知识程介绍构建、管理和利知识库或知识图谱的技术，旨在撑和增强基础模型功能。基础模型部分围绕 33 将模型应于企业实际业务场景中的关键步骤和技术挑战，从模型的评估与选择，数据准备，微调与训练、合作、优化以及典型上层应等进展开。?3.2.23.2.2

59、智能平台第层：模型训练框架及周边态智能平台第层：模型训练框架及周边态?在模型训练领域，有许多成熟的开源软件和具可供选择，它们通常被组合使以构建完整的模型训练流程，并逐渐形成了丰富的开源态系统。下主要介绍些常的开源软件和具。?3.2.2.13.2.2.1 PyTorchPyTorch?PyTorch?是个于机器学习领域的智能研究和商业产的开源框架。它于构建、训练和优化深度学习神经络，于图像识别、然语处理和语识别等应。?它为 CPU、GPU、多 GPU、多节点上的并和分布式训练提供计算持，同时它还拥有许多可于不同领域的特定库和具，具有灵活且易于扩展的特点，所有这些都使?PyTorch?成为机器学习

60、领域的领先框架?22。?3.2.2.23.2.2.2 TensorFlowTensorFlow?TensorFlow 是个开源深度学习框架，截发稿时，它已成为世界上采最泛的深度学习框架之。TensorFlow 为开发者提供了即时执、计算图模型、简单易的API、灵活的架构和分布式处理等功能，可以在多架构和多核系统以及将计算密集型处理作为作任务进分配的分布式进程上运。由于其灵活、可扩展和模块化的设计，TensorFlow 并不限制开发员只能使特定的模型或应程序，开发员不仅可以实现机器学习和深度学习算法，还可以实现统计和通计算模型?23。?34 3.2.2.33.2.2.3 KerasKeras?K

61、eras?是个基于 Python 的深度学习库，与其他深度学习框架不同。该项易于学习和使，并且具有在框架之间轻松移植模型的额外优势。Keras 尝试定义神经络的级 API 规范，提供界，同时可以良好的兼容不同低层框架。基于 Keras 前端可以在研究中快速构建神经络模型的原型。Keras 通过项的图数据结构实现，摆脱了对于底层后端框架的图数据结构的依赖，使开发者需精通后端框架实现细节?24。?3.2.2.43.2.2.4 TransformersTransformers?Transformers 为提供了可以轻松下载和训练最先进的预训练模型的 API?和具。这些模型持不同模态的常任务，包括：?

62、然语处理：如本分类、命名实体识别、问答、语建模、摘要成、翻译、多项选择和本成。?计算机视觉：如图像分类、标检测和分割。?频：如动语识别和频分类。?多模态：如表格问答、光学字符识别、从扫描档中提取信息、视频分类和视觉问答等。?Transformers 持 PyTorch、TensorFlow 和 JAX 之间的框架互操作性，这为提供了在模型的命周期的每个阶段使不同框架的灵活性，模型也持导出 ONNX 或TorchScript 等格式，可以便地在产环境上部署?25。?35 3.2.33.2.3 智能平台第层：训练加速框架智能平台第层：训练加速框架?训练加速框架主要关注如何提模型训练的速度和效率，涉

63、及分布式训练框架，以及各种加速算法和优化技术，旨在更快地完成模型训练过程，从提平台的整体性能。?3.2.3.13.2.3.1 RayRay?Ray 是个开源的分布式计算框架，由 UC?Berkeley?RISELab?开发，旨在为规模、复杂的分布式应程序提供效、可扩展和易于编程的解决案。相较于传统的分布式框架（如 Hadoop、Spark 等），Ray 在 API 和具集上有更丰富的持，使得开发者可以轻松地构建分布式应程序，且持主流深度学习框架例如 TensorFlow、PyTorch等。其核优势在于其简洁的 API 和度可扩展的架构，提供了种简单强的式来并化和分布式计算，使得可以轻松地将单

64、di 机程序扩展到型集群?26。?3.2.3.23.2.3.2 ColossalColossal-AIAI?Colossal-AI 是个分布式深度学习框架，它是种于效训练规模深度学习模型的开源软件框架。它旨在解决在训练过程中由于模型和数据规模庞遇到的各种挑战，例如内存限制、计算资源不和训练速度缓慢等问题。Colossal-AI 通过使系列优化技术和并计算法，使得在有限的硬件资源下，能够更快地训练出更好的模型。Colossal-AI 的核优势在于其灵活性和可扩展性。它持各种深度学习框架，如 PyTorch、TensorFlow 和 MXNet，并提供了丰富的 API 和具，使能够轻松地构建、训练

65、和部署模型。此外，还能够根据不同的硬件资源进适应调整，以充分利计算资源并提训练效率?27。?36 3.2.3.33.2.3.3 DeepSpeedDeepSpeed?DeepSpeed 是个分布式深度学习优化库，由微软研究院开发，旨在提深度学习模型的训练速度、减少资源消耗，同时保持模型精度。DeepSpeed 持多种深度学习框架，如 PyTorch，并通过系列技术实现效训练。由于模型动辄需要上百 GB 的显存来持训练和推理，在现有的通 GPU 上很难实现单卡运（如英伟达 V100，A100，H100 等型号），所以必须到多机多卡的架构，DeepSpeed 就为解决这些问题应运，它具有效、易和可

66、扩展等特点，同时为提供了详细的档和例，便快速上?28。?3.2.43.2.4 智能平台第三层：推理部署管理智能平台第三层：推理部署管理?旦模型训练完成，就需要将其部署到实际的应场景中进推理。推理部署管理层主要涉及到模型的部署、管理和运，包括模型的优化和压缩、推理引擎的选择和配置，以及运时的监控和管理等作。?3.2.4.13.2.4.1 KuKubeflowbeflow?Kubeflow 是由 Google 主导的个开源项，旨在简化机器学习作负载在Kubernetes 上的部署和管理。它将机器学习领域的各个组件整合到个统的平台中，使得能够更轻松地构建、训练和部署模型。它充分发挥了 Kuberne

67、tes 的弹性和可扩展性，能够轻松在多个节点上运规模的机器学习作负载。Kubeflow 还提供了个统的开发环境，整合了多个流的机器学习框架和具，这使得团队成员能够使他们喜欢的具，并在个共享的平台上协同作。Kubeflow 通过集成 KServe 等组件，37 使智能模型能够缝地从研究和开发阶段转移到产环境。这种平滑的过渡可以加速模型的部署过程?29。?3.2.4.23.2.4.2 CaCaikitikit?Caikit?30是个开源的智能具包，通过组开发员友好的 API，使能够通过统的格式管理模型。它为创建和使针对各种数据领域和任务的智能模型提供了致的数据接。Caikit 通过让智能模型作者专

68、注于使新技术解决已知问题，简化了应程序使的智能模型的管理。Caikit 具备以下功能：?将不同社区的模型（例如 Transformers、TensorFlow、Sklearn 等）合并到通API 中管理。?从数据创建模型并运训练作业。?以数据结构调数据 API 来运模型推断，需转为 tensors。?实现了从静态正则表达式到多 GPU 分发等多种训练技术，以帮助正确的拟合模型。?将来不同 AI 社区的模型（例如，transformers、tensorflow、sklearn 等），合并到个通 API 中。?可根据特定任务，使新模型更新应程序，需更改客端。?特别的，Caikit 为应程序开发员提

69、供了个抽象层，他们可以通过?API?使?AI?模型，需了解模型的数据形式。?换句话说，模型的输和输出采易于编程且不需要数据转换的格式。?这有助于模型和应程序彼此独地发展。?38 3.2.4.33.2.4.3 Nvidia?TritonNvidia?Triton?Nvidia?Triton?Inference?Server 是由 Nvidia 开发的开源推理服务器，旨在简化和加速深度学习模型的部署和推理过程。它持多种深度学习框架，包括 TensorFlow、PyTorch、ONNX 等，使能够在个统的平台上部署和管理各种类型的模型，是种分布式且合作的缓存架构，可以加速数据密集型应的 IO 性能?

70、31。?3.2.4.43.2.4.4 NVIDIA?NVIDIA?TenTensorRTsorRT?TensorRT 是个于性能深度学习推理的平台，可于优化训练好的模型。在使 TensorRT 优化模型之后，仍然使传统的 TensorFlow 作流进推理，兼容包括TensorFlow?Serving。TensorRT 还可以进较低精度（FP16 和 INT8）的模型校准，乎不损失准确性。使较低精度模型减少了对 GPU 内存的需求，且能达到更快的计算速度，同时还能使 Tensor?Cores 进计算加速?32。?3.2.53.2.5 智能平台第四层：知识程智能平台第四层：知识程?3.2.5.13

71、.2.5.1 嵌（嵌（EmbeddingEmbedding）?嵌（Embedding）是种将对象（如本、图像和频）表为连续向量空间中的点的法，其中这些点在空间中的位置在语义上对机器学习（ML）算法具有意义。结果上，嵌使得机器学习模型能够找到相似的对象。与其他机器学习技术不同，嵌是通过各种算法（例如神经络）从数据中学习来的，不是明确要求类专家进定义。它们允许模型学习数据中的复杂模式和关系，这是类很难识别的。嵌的使使得模型能够捕捉词汇和概念之间的语义关系，从提了模型的语义理解和成能。?39 3.2.5.23.2.5.2 向量数据库向量数据库?向量数据库旨在效存储、管理和索引量维向量数据。这些数据库

72、正在迅速引起关注，为成式智能（AI）例和应程序创造额外价值。与传统的关系数据库不同，在向量数据库中，数据点由具有固定维数的向量表，并根据相似性进聚类。这种设计实现了低延迟的查询使其能够有效地处理维向量数据，成为以智能驱动的应程序的理想选择?33。?向量数据库持对相似性进快速查询，这对许多企业级成式智能应中是常重要的。对于搜索相似模式或实例的任务，如图像识别、语义搜索和推荐系统。向量数据库的发展满了企业对于在其业务决策中利维数据的不断增的需求。通过将模型服务与向量数据库相结合，企业能够更好地处理规模、维的数据集，为其 AI 应提供更准确、更快速、更灵活的持。关于向量数据库的更多细节详 3.3.2

73、.8。?3.2.5.33.2.5.3 知识图谱知识图谱?知识图谱，称为语义络，表了现实世界中的系列实体，如对象、事件、情境或概念，并展了它们之间的关系。这些信息通常存储在图数据库中，并以图结构可视化，因此得名为知识“图”。知识图谱由三个主要组成部分构成：节点、边和标签。任何对象、地点或都可以是个节点，边定义了节点之间的关系。?3.2.5.43.2.5.4 GenAI?EngineGenAI?Engine?GenAI?Engine 是种引擎，使能够轻松训练、验证、调整和部署成式 AI 基础模型以及机器学习能，并且可以在短时间内使少量数据构建 AI 应程序。该引擎构建 40 在现代成式 AI 和机

74、器学习能之上，持多种关键例，包括级问答（Q&A）、内容摘要、内容分类以及针对特定的成内容。GenAI?Engine 的灵活性和度集成的特性使其成为构建多种 AI 应程序的理想选择，为提供了快速、效地利成式 AI 和机器学习能的平台。?3.2.5.53.2.5.5 检索增强成检索增强成（Retrieval?Augmented?GenerationRetrieval?Augmented?Generation，RAGRAG）?型语模型（LLMs）通常对各种主题有着惊的了解，但它们仅限于它们训练时使的数据。这意味着希望将 LLMs 于私有或专有业务信息的客法直接使 LLMs 来回答问题。检索增强成（R

75、AG）是种架构模式，它使基础模型能够为未包含在模型训练数据中的专业或专有主题成事实上正确的输出。通过在的问题和提中加从外部数据源检索的相关数据，RAG 为模型提供了“新的”（对模型是新的）事实和细节，以此为其响应提供基础?34。?3.2.5.63.2.5.6 图数据库图数据库?图数据库是种以图结构存储数据的数据库类型，其中数据以节点（实体）和边（关系）的形式表。图数据库可以使图算法有效地查询和分析复杂且相互连接的数据。在智能领域，图数据库的概念可于构建知识图谱，将实体和关系表为图中的节点和边，有助于 AI 系统理解复杂的领域知识，并持更智能的推理和决策。其次，图数据库可于然语处理（NLP）任务

76、，通过存储语义信息提本理解和成的质量。此外，对于推荐系统、模型解释、机器学习作流程管理和语义搜索等任务，图数据库都提供了强的持。关于图数据库的更多细节详 3.3.2.9。?41 3.2.63.2.6 智能平台第四层：基础模型智能平台第四层：基础模型?在实际应中，基础模型的智能解决案在企业业务场景中的落地并仅是单的模型问题，是基于业务需求构建的系统性问题。如图?7 所，企业在落地基础模型通常需要经过个关键步骤，以确保模型的有效性和可性。先是在众多模型中选择并评估最为适宜的模型，利企业内部可信数据对选定的模型进训练、调优和增强，以确保其在企业应场景任务中表现良好，监控模型在实际应中的表现，并根据反

77、馈信息对模型进调整和优化，在部署过程中，需要考虑到安全性、可扩展性和可维护性等的因素，以确保模型能够稳定可靠地运。这些阶段相互关联，形成了个循环迭代的过程，帮助企业不断优化和改进基础模型的性能和效果。本章节围绕基础模型，对模型评估、模型数据准备、模型微调与训练、模型合作、模型优化、模型应等关键技术进介绍。?图?7?企业基础模型落地成功的要素与挑战?3.2.6.13.2.6.1 模型评估模型评估?模型评估直以来都是智能领域的重要议题。从机器学习，到深度学习，再到现在的成式 AI，不同阶段的模型评估指标也呈现不同的特点。在机器学习和深度学习阶 42 段，模型的主要任务是分类(分类模型)和预测(回归

78、模型)，模型结果是否正确是明确的。分类模型的主要评估指标是准确率、召回率、精确率、F1 等等?35。回归模型的主要评估指标是均误差(MSE)、平均绝对误差(MAE)和 R-squared 等等。这些法按场景和侧重点的不同，以不同的度和法统计计算值和真实值的差异，从评估模型的优劣。但是到了成式 AI 阶段，基于通型基础模型，模型的主要任务变成了本成和图像成等。成的本与图是否“正确”具有强烈的主观性，计算维度也与之前不同。针对以上新出现的问题，在本成领域，提出了 BLEU 和 METEOR 等评估指标。图像成领域则提出了 Perceptual?Loss 和 Frchet?Inception?Dis

79、tance 等法?36。?随着语模型的泛应，评估语模型的法也变得越来越重要。语模型的评估有很多不同的侧重点。较为重要的是知识和能评估以及对评估。知识和能是基础模型切能的基础。知识补全是评估模型知识能的主要段，它基于现有的知识库，如 Wikidata、LAMA 等，通过将这些知识库中提供的主题关系对象三元组置空，然后语模型填缺失的部分来进评估。推理能是另个重要能，包括常识推理、逻辑推理、多跳推理和数学推理四个。每个都有特定的数据集于基准测试。如：?常识推理可以使 CommonsenseQA?37问答数据集以及关于社交常识的 Social?IQA?38问答数据集。?逻辑推理是通过给定段字和个问题，

80、模型需要从候选答案列表中选择最适当的答案。相关的数据集包括 ReClor?39、LogiQA?40和 LSAT?41等，它们都是由标准化测试(学位考试和公务员考试)提供的多项选择逻辑问题组成的。?43 多跳推理是指通过多个环节的信息得出最终答案的能，是更复杂的推理能。HybridQA?42是前最有代表性的多跳测试基准数据，它的每个问题都与异构的多个信息源(表格和本段落)相关联，模型需要同时利表格和本信息才能回答，缺少任何种信息都法完全回答问题。?数学推理的数据集则主要来类综合性考试的数学部分以及数学竞赛试题。对评估则更像是某种软性能的评估，评估模型是否具有伦理价值对能，以及它们是否成可能违反伦

81、理标准的内容。?评估模型的对能前已有商产品，如 IBM 的 OpenScale。同时，些数据集也可以来测试模型的能。如，PROSOCIALDIALOG 是个规模的多轮对话数据集，教导对话系统如何应对有问题的对话内容，数据集涵盖了各种不道德、有偏的情况，它可以提供基于社会规范的建设性反馈，对话的过程往往需要参与校准。?在选择应程序的模型时，还需要考虑以模型性能，模型和计算资源需求，语持，协议许可，社区活跃度等关键因素。例如，以采纳种持中 RAG 应的Embedding 模型为例：?第步，将模型选择范围缩到有中持的模型。?第步，可综合衡量 Chinese?Massive?Text?Embeddin

82、g?Benchmark（C-MTEB）和Hugging?Face?Massive?Text?Embedding?Benchmark?（MTEB）?43等公共测评榜单，选中些性能靠前的模型，例如 Baize?General?Embedding（BGE）系列的 bge-large-zh-v1.5 模型。?第三步，结合应的实际场景制定和采纳相关评测指标。关于更多模型评估指标可以参考附录?智能指标。?44 第四步，结合实际数据进综合测评，择优选取。?3.2.6.23.2.6.2 模型数据准备模型数据准备?当企业场景需要超越原始语模型的能时，通常需要对企业内部的数据进收集和整理，对模型进微调和训练以满特

83、定场景的需求。这个过程可能涉及多个阶段，包括数据的收集、标注和预处理。在这个过程中，企业需要充分了解的业务需求和数据特点，以便选择合适的数据收集法和具，从更好地满业务需求。?3.2.6.2.13.2.6.2.1 数据收集数据收集?数据收集的的是从各种来源获取与问题或任务相关的数据，以便后续的数据清洗、预处理。以下是些常的数据收集来源包括但不限于?44：?公开数据集公开数据集：公开数据集是基础模型训练数据的重要来源之，通常由学术机构，企业等组织公开发布，涵盖了各种数据类型，例如 UCI 机器学习库、Kaggle 竞赛数据集等。?企业内部数据企业内部数据：通常来公司内部各个部和业务领域的运营活动，

84、这些数据对于企业内部决策、业务优化、产品改进等具有重要意义。?合成数据合成数据：在某些情况下，难以获得够多样化的真实数据，可以考虑使合成数据，通过模拟或成数据来模拟真实数据的分布和特征。?数据爬取数据爬取：如果没有合适的公开数据集，可以考虑从互联上爬取数据，但需要注意遵守站的使条款和法律规定，以及尊重隐私和版权。?45 实验设计和数据采集实验设计和数据采集：对于某些特定的问题，可根据需要设计实验并收集数据，通过实地观察、实验调查、传感器收集等式来完成，需要考虑数据的多样性、覆盖范围和质量等因素。?3.2.6.2.23.2.6.2.2 数据清洗数据清洗?数据清洗在机器学习中涉及到识别数据中的缺失

85、值、异常值、重复值等问题，并进相应的修正和处理，包括：处理缺失，异常值，重复值，不致的数据格式，特征选择和转换（如数值化、标准化、归化等），类别型数据（如 One-Hot?Encoding 或者 Label?Encoding 等），时间序列数据，数据不平衡等。在实际应中可能需要根据数据集的具体情况和需求进适当的调整和扩展。数据清洗的标是确保数据的质量和可靠性，为后续的机器学习建模和分析提供可靠的基础。?3.2.6.2.33.2.6.2.3 数据标注数据标注?数据标注，称为数据注释，是在开发机器学习（ML）模型时的预处理阶段的部分。这个过程涉及到对原始数据（例如图像、本件、视频）的识别，然后为这

86、些数据添加个或多个标签，以指定其上下，使得机器学习模型能够做出准确的预测。在数据标注的过程中，标记者或专业具被来为数据集中的每个样本分配适当的标签。这些标签可以是对图像中物体的识别、本的分类、视频中事件的描述等。通过为数据集中的每个样本添加标签，为机器学习模型提供有监督学习所需的训练数据。?46 3.2.6.2.43.2.6.2.4 数据划分数据划分?数据划分通常需要将数据集分为训练集、验证集和测试集三部分进处理。常的数据划分的法主要包括：随机划分、分层划分、时间序列划分、K 折交叉验证等。在实际应中，可以根据具体情况对上述法进调整。需要注意的是，数据划分应该尽可能保证各个集的数据分布致，以保

87、证模型在各种情况下都能表现出良好的性能。?3.2.6.2.53.2.6.2.5 数据增强数据增强?数据增强(Data?Augmentation)是种于改善模型性能和泛化能的技术，它通过创建原始数据的修改版本来增加于模型训练的数据量。这些修改可以包括旋转、缩放、翻转或其他形式的变换，的是增加数据的多样性，以帮助模型学习更多的特征和规律，提模型的泛化能。此外，数据增强也可以帮助防模型过拟合，提模型的健壮性。?常的数据增强技术包括：图像数据增强（如旋转，缩放，剪裁，翻转，改变亮度，对度，饱和度等，本数据增强（同义词替换，随机插，随机交换，随机删除等），频数据增强（改变调，量，速度，添加背景噪声等），

88、数据插值等。随着成式智能的技术发展，模型的尺越来越，还可采监督数据成，领域数据/专家数据等式来实现增强。可结合模型的实际应场景、具体需求和数据类型来选择合适的数据增强法?45。?3.2.6.33.2.6.3 模型微调与训练模型微调与训练?般来说，语模型可以通过构造良好的提激发模型的能，种典型的提法是将任务描述或范以然语本的形式表达的上下学习（in-context?learning,?47 ICL）。此外，采思维链提（chain-of-thought?prompting）可以通过将系列中间推理步骤加提中来增强 ICL。有的场景通过提法解决问题或者需要过的上下提，这种情况下就会涉及模型微调，常的微

89、调式包括使标签数据进继续预训练、使标签数据对模型进指令微调、通过强化学习对模型进对微调等。?继续预训练优势是可以容易获取到标签数据，常的使场景包括对 LLM 进进多语持的扩展、垂直领域知识的增强，增加 LLM 本度的持等。?指令微调是以有监督的式微调 LLM（例如使序列到序列的损失进训练），指令微调后 LLM?可以展现出泛化到未过任务的卓越能，为了进指令微调，先需要收集或构建指令格式的实例。构建指令数据集可以通过式、利基础模型动成、结合使开源指令数据集。由于指令微调涉及多种任务的混合，因此在微调过程中平衡不同任务的例常重要，种泛使的法是实例例混合策略，即将所有数据集合并，然后从混合数据集中按例

90、采样每种实例。?LLM 有时可能表现出预期之外的为，例如编造虚假信息、追求不准确的标，以及产有害的、误导性的和有偏的表达，因为模型预训练使了语建模的标，即单词预测进预训练，但这没有考虑到类的价值观或偏好。为了避免这些预期外的为，些研究提出了类对，使得 LLM?的为能够符合类期望，对微调使得 LLM?的为能够符合类期望。基于类反馈的强化学习（RLHF）使收集到的类反馈数据对?LLM?进微调，有助于改进对的指标（例如，有性，诚实性和害性）。RLHF 采强化学习（RL）算法（例如，近端策略优化（Proximal?Policy?Optimization，PPO）通过学习奖励模型使?LLM 适配类反馈。

91、这种法将类纳训练的循环中来开发对得 48 良好的语模型，如 InstructGPT。对微调的数据集通常由进精细的设计，成本较，些开源的数据集有 HH-RLHF?46、SHP 等。?由于?LLM?包含量的模型参数，进全参数微调将会有较开销，于是提出来参数效微调（parameter-efficient?fine-tuning），旨在减少可训练参数的数量，同时尽可能保持良好的性能。常的于?Transformer?语模型的参数效微调法有适配器微调（adapter?tuning）、前缀微调（prefix?tuning）、提微调（prompt?tuning）和低秩适配（LoRA）等?47。?3.2.6.4

92、3.2.6.4 模型合作模型合作?在实际企业模型应中，对复杂的业务场景需求，通常可以将基础基础模型和领域模型进合作。通基础模型具有许多优势，其中包括强的然语理解能、内置量世界知识、以及具备任务拆解和总结能等特点。这些基础模型可以解决多个下游任务，为企业提供了泛的应可能性。相之下，专业领域模型则更为精细，虽然部署所需资源较少，但其优势在于经过专业领域的期训练和优化，表现出千锤百炼的能。然，专业领域模型的适配性较窄，种领域模型通常只能对接种具体任务，相较于通基础模型，其应范围相对有限。在实际情况中，企业往往已经开发了些专针对其特定领域或业务需求的领域模型，因此，将两者结合起来，可以形成更灵活、效的

93、解决案，并充分利已有的能，最程度地发挥模型的优势。?些常的模型合作的式包括：?49 模型组合模型组合：将领域模型的预测结果整合到基础模型中，从扩展基础模型的知识和提精度。例如，基础模型可于任务框架拟定和任务分解，领域模型对分解任务进处理，最终由基础模型对所有步骤的答案进组织整理。?模型堆叠模型堆叠：将领域模型和基础模型串联起来，形成个更为复杂的模型。通过增加模型深度，可以提模型的复杂度。例如，基础模型可对任务从不同维度进定义，领域模型则从不同度回答问题，最终由基础模型整理所有步骤的答案。?模型分模型分：将任务分解，让、领域模型各专注于不同的任务。例如，基础模型处理开放式然语处理任务，领域模型则

94、专注于特定业的语任务。?模型调整模型调整：调整基础模型的参数，使其更好地适应特定业的语数据。例如，通过模型的对基础模型的结果进校正，调整基础模型以适应特定领域的数据集。?3.2.6.53.2.6.5 模型优化模型优化?基础模型优化是指在设计、训练和部署型 AI 模型时所采取的系列技术和策略，旨在提模型的效率、性能和可扩展性。这过程涵盖了模型训练优化，模型压缩，推理优化等多个。?3.2.6.5.13.2.6.5.1 训练优化训练优化?由于前的型模型往往包含数亿、数百亿、甚数万亿个参数，这意味着在模型训练阶段需要频繁进量的浮点运算，对计算能的需求是巨的。例如，要训练个规模为 Llama-70B 的

95、模型，需要在庞的计算集群上进数之久。这涉及到的时间成本和电成本不容忽视，因此需要考虑如何加快速度，优化整个训练流程。?50 般，型语模型的结构主要基于 Transformer，其中每层的结构相对固定，因此，常的训练加速法主要集中在如何实现 Transformer 的并化。在本质上，训练过程涉及量的矩阵乘加运算，因此必须思考如何降低计算参数的矩阵操作。通常情况下，可考虑采多个计算设备进并计算，同时优化设备间的通信负载以及单个设备上的计算时间，以期望实现并计算时的线性加速。此外，型模型的训练时间也与训练数据量密切相关，所以也可通过数据分割来实现并计算，运分治法的思维处理数据内部特征。另外，由于前主

96、流计算设备为 GPU，单个 GPU 的显存相对有限，难以撑整个模型训练过程中所需的模型和数据存储，因此型模型的训练也必须依赖多 GPU 卡并进。?模型训练加速的优化案前般包含数据并，模型并，流线并等，并伴随有使低精度浮点数来降低单次计算所需要的计算或计算时间，且还能降低 GPU 显存的使量。?数据并化较直观，在多个计算硬件上分别加载同个模型结构，然后将数据分割成不同的数据集分发到不同的计算硬件上分别计算，寻找数据内部特征，最后将每个计算硬件上的模型寻找到的数据特征进整合，糅个模型，从达到数据的并化计算。?模型并化在分割模型时的度取决于整体训练模型的所需算的，需保证每个计算单元都能分配到够的计算

97、量。例如，将模型结构进维（2-dimensional）分割，同时考虑计算硬件的拓扑结构，尽可能让模型间的通信量少，且信息在络中传递的路径最短，这样就能在加速计算的同时减少络负载，让整个训练过程整体最省时，硬件资源利率最化。在模型并化的时候，还会有更细粒度的张量并（tensor?51 parallelism）和流线并（pipeline?parallelism），这些并化需要深理解模型的结构，才能将模型按照不同的切分式来分割并。?在将模型训练分割并化的加速优化能考虑到极致后，还可以通过模型量化，即前提到的使低精度的浮点数来进计算加速，此外还有算融合等式来进计算的优化。有很多开源项正在研究这些领域，

98、如 vLLM，bitandbytes 等。值得注意的是，由于这些法般牵涉到对模型的修改或是对数值的修改，故可能会存在模型收敛出现问题，或者模型精度出现偏差，往往都需要针对数据集做进步的模型结果调优。?3.2.6.5.23.2.6.5.2 模型压缩模型压缩?模型压缩技术是指的是系列旨在减深度学习模型的体积和计算复杂度，同时保持其性能的法。这些技术对于在资源受限的环境下部署模型、提推理速度或降低能耗都常有，常的语模型压缩技术包括?48：?模型剪枝通过去除络中不必要的连接或参数来减模型的。剪枝技术可分为结构化剪枝和结构化剪枝两种形式。结构化剪枝是指在不考虑模型结构的情况下，去除模型中相关度较低的参数

99、，从达到减模型尺的的。结构化剪枝则是通过剪除模型的整个部分，例如神经元、通道或层，来进减模型的。结构化剪枝不改变模型的结构，剪枝度细致，潜，但需要搭配相关的硬件。相之下，结构化剪枝的粒度较粗，剪枝后会改变模型结构，对模型性能影响较。因此，结构化剪枝可剪枝例通常较结构化剪枝低，但实现技术简单，不需要相关的硬件配合。不论是结构化还是结构化剪枝，在剪枝后通常需要进后续的微调，以弥补剪枝带来的模型性能下降。?52 模型量化通过将浮点参数转换为单字节或更的整数，从显著减语模型的，它通常包括离线阶段（offline?stage）和在线阶段（online?stage）两个主要阶段。离线阶段的量化过程通常在训

100、练后进，此时模型已经通过了训练并获得了较佳性能。在此阶段，将训练好的模型来分析其权重分布和激活响应等信息，以确定适当的量化策略。这涉及到选择合适的量化特数（如 8 特、4 特等），以及确定量化的范围和法（如线性量化、线性量化、对称量化、对称量化等?49）。在线阶段是指将已经量化的模型部署到实际环境中，以进推理或应。根据硬件持的精度不同，可能需要对参数进反量化操作来进推理计算，以适应硬件的特定要求和限制。此外，在线阶段还涉及到模型的部署、配置和优化，以确保在实际应中能够达到预期的性能和效果。对语模型的量化技术可以分为后训练量化（PTQ，Post-training?quantization）和量化

101、感知训练（QAT，Quantization-aware?training）?48。在后训练量化中，模型在完成训练后通过将参数转换为低精度数据类型来实现压缩，如 GPTQ。相之下，量化感知训练将量化过程集成到模型的训练过程中，如 QLoRA。后训练量化在模型训练完成后应，简单直接可快速实现，但可能法充分考虑到量化对模型性能的影响，导致性能损失较；量化感知训练则集成了量化到训练中，可以更好地优化模型参数以适应低精度的量化，但可能增加训练开销，适合对性能要求的场景。?知识蒸馏：通过训练个型模型来近似个型模型的输出。在这个过程中，型模型（教师模型）的“知识”被传递给型模型（学模型）。学模型通常教师模型

102、要简单，因此更适合在资源受限的环境中部署，这种蒸馏式可称为传统知识蒸馏（或盒知识蒸馏）?48。对于语模型来说，涌现能蒸馏（或盒知识蒸馏）着重于从教师模型（即 LLM）中提取某种特定的涌现能，并将其转移给学模型。语模型的 53 涌现能（Emergent?abilities）?50指的是这些模型具备的某些能，这些能在较的模型中并不存在或表现较弱。这些能可能是由于规模数据训练和模型结构的复杂性产的。根据学习的能的不同，涌现能蒸馏可以细分为不同的类型?48：In-Context?Learning（ICL）蒸馏采结构化的然语提，包含任务描述和可能的任务例，旨在蒸馏语模型的上下学习能。Chain?of-T

103、hought（CoT）蒸馏将中间推理步骤融提中作为学模型的训练数据，以培养学模型的推理能。Instruction?Following（IF）通过阅读任务描述来增强语模型在执新任务时的能，不依赖于少量例，旨在蒸馏语模型的指令学习能。?3.2.6.5.33.2.6.5.3 批量批量推理推理?前，语模型推理过程主要受到内存 IO 的制约，不是计算资源的限制。换之，将 1MB 的数据加载到 GPU 所需的时间超过了这些 GPU 计算单元在相同数据上执 LLM 计算所需的时间。这意味着 LLM 推理吞吐量的主要瓶颈在于能够将批量的数据装带宽 GPU 内存中。因此，为了提 LLM 推理的效率，除了优化计算

104、速度外，还需要关注如何更有效地管理和利 GPU 内存。根据 NVIDIA 的报告显?51，随着并发数的增加，推理吞吐量通常会有显著的增加。这意味着优化批处理和并性能是提 LLM 推断效率的关键策略之。?批量推理的技术可分为静态批处理（Static?Batching）和连续批处理（Continuous?Batching）两种。批处理的传统法称为静态批处理，即批次的在推理完成之前保持不变。与传统的深度学习模型不同，由于 LLM 推理的迭代性质，批处理可能会变得棘。由于批处理中不同序列的成度与批次的最成度不同，GPU 的利率较低，如果 54 输序列也具有相同的，那么每个静态批处理才可实现最佳可能的

105、GPU 利率。相之下，连续批处理?52不再等待批处理中的每个序列都完成成，是实现了迭代级别的调度，其中批处理是根据每次迭代确定的。结果是，旦批处理中的个序列完成成，就可以插个新的序列，从实现静态批处理更的 GPU 利率。?3.2.6.5.43.2.6.5.4 推理引擎推理引擎?推理引擎是指于执机器学习模型推理（即模型的预测或输出）的软件组件或系统框架。在深度学习领域，推理引擎通常是指能够有效地将训练好的神经络模型应到实际数据上，以产所需结果的软件组件。这些引擎通常优化了模型的计算和内存使，以提推理速度和效率，并且通常针对特定的硬件架构进了优化，如 CPU、GPU、TPU等。常的推理引擎有 Te

106、xt?generation?inference（TGI），vLLM，DeepSpeed-MII，OpenLLM，MLC?LLM，Ray?Serve，CTranslate2 等?53。?3.2.6.63.2.6.6 模型应技术模型应技术?基础模型的上层技术赋予了模型更加智能、灵活的特性，使其能够更好地适应不同的任务和环境。它们帮助企业的基础模型开发员更快地开发和部署模型应。通过这些技术段，企业能够更灵活地应对不断变化的业务需求和环境变化，提模型的适性和性能。?3.2.6.6.13.2.6.6.1 思维链提思维链提?2022 年，语模型的效果越来越好，并涌现出了强的逻辑推理能。同时随着模型规模的不

107、断变，模型也变得更容易被“提”。但是基础模型在做数学推理和知识推 55 理时的表现还不尽如意。在这样的背景下，出现了思维链（Chain-of-thought，CoT）的概念。思维链（CoT）的概念被次提出。这是种改进的提策略，于提语模型在复杂推理任务中的表现。简单来说，CoT 给基础模型提供了些相关的上下学习，让基础模型更容易给出最终正确的答案，通过把问题分解为多个中间步骤，为模型的为提供个可以解释的窗，给出如何得出答案的具体分析法，并提供可以被来调试的路径，实现可验证性。对于够的模型，甚可以把思维链推理的步骤作为例包含在 few-shot 提中?54。?3.2.6.6.23.2.6.6.2

108、由少多提由少多提?思维链提在各种然语推理任务中表现出了显著的效果，但是，对于那些提中例更难的问题，表现往往不太好，如组合泛化。为了克服这种问题，由少到多提（least-to-most?prompting）提策略被提出?55，其关键思想是把个复杂问题分解成系列更简单的问题，然后依次解决，以前解决的问题的答案有助于解决每个问题。它包含两个阶段，第个阶段把个复杂问题分解成系列更简单的问题，这个阶段的提包含演分解的固定例，然后是要分解的特定问题。第个阶段依次解决问题，这个阶段的提由三部分组成，第个是演如何解决问题的恒定例，第个是之前回答的问题和成的解决案的潜在空列表，第三个是接下来要回答的问题。原问题

109、作为最后个问题追加。?3.2.6.6.33.2.6.6.3 LangLangC Chainhain?LangChain?是个开源编排框架，于使型语模型?(LLM)?开发应程序?56。LangChain?的具和 API 在基于 Python 和 Javascript 的库中使，可以简化构建聊天 56 机器和虚拟代理等 LLM 驱动型应程序的过程。LangChain 乎可以作为所有 LLM 的通接，为构建 LLM 应程序并将其与外部数据源和软件作流程集成提供集中式开发环境。LangChain 基于模块的法允许开发员和数据科学家动态较不同的提，甚较不同的基础模型，需重写代码。这种模块化环境还允许程序

110、使多个 LLM：例如，应程序使个 LLM 解释查询，并使另个 LLM 编写响应。著名的?LangChain?具例如：Wolfram?Alpha 提供强的计算和数据可视化功能，实现复杂的数学功能；Google?搜索提供?Google?搜索访问权限，为应程序和代理提供实时信息；OpenWeatherMap 获取天信息；维基百科持对维基百科章信息进效访问等。?3.2.6.6.43.2.6.6.4 MMiniiniC Chainhain?MiniChain 旨在在个型库中实现核提链接功能，它利函数装饰器和 YAML模板来实现链式操作，只需要 20 左右代码，就可以编写个简单的聊天机器，向量数据库等等。

111、MiniChain 不管理档和嵌，可使内置 FAISS 索引的拥抱部数据集库。?MiniChain 可以动成个提头，旨在确保输出遵循给定的类型化规范?57。?3.2.6.6.53.2.6.6.5 AI?AgentAI?Agents s?AI?Agents?是种软件程序，旨在与其环境交互，感知接收到的数据，并根据该数据采取动以实现特定标。AI?Agents?能够模拟智能为，可以像基于规则的系统样简单，也可以像级机器学习模型样复杂。AI?Agents?使预先确定的规则或经过训练的模型来做出决策，并且可能需要外部控制或监督。相对于传统的 AI?Agents，主?AI?Agents（Autonomou

112、s?AI?Agents）是种先进的软件程序，可以在没有类控制的情况 57 下独运。它们可以主思考、动和学习，需类不断输。这些代理泛应于医疗保健、融和银等不同业，使事情运得更顺畅、更效。它们可以适应新情况，从经验中学习，并利的内部系统做出决策。?AI?Agents 的内部结构可以根据具体的应和任务有所不同，它的内部结构由四个关键部分组成，分别是 Environment（环境）、Sensors（传感器）、Actuators（执器）以及?Decision-making?mechanism（决策机制）。AI?Agents?会通过传感器或其他数据源感知环境。传感器可以包括视觉传感器（如相机）、听觉传感器

113、（如克）、物理传感器（如触摸传感器）等。这些传感器帮助代理获取环境中的信息，例如图像、声、位置等。AI?Agents?使适当的知识表法来组织和存储从环境中获取的信息。这些信息可能包括先验知识、学习到的模式或规则。基于感知到的环境信息和存储的知识，AI?Agents?使决策制定机制来成适当的动。这可能涉及使逻辑推理、统计分析、规划算法或机器学习技术来评估不同动的可能结果和潜在险。决策制定过程旨在使代理能够选择最佳动以实现其标。然后，Agents?制定计划或系列步骤来实现其标。旦决策制定完成，AI?Agents?将执动并与环境进交互。这可能涉及控制执器（如机器的电机）、发送指令（如语助的语合成）或

114、与其他代理进通信。执动后，Agents?会观察执结果，并将其作反馈以调整下步的决策。最后，在完成上述的执动后，AI?Agents?通过与环境的交互获得反馈。这些反馈可以来环境中的直接观测结果，也可以来类或其他代理的指令和评估。Agents?使这些反馈来学习和改进的为。这可能包括使监督学习、强化学习或迁移学习等技术来调整决策制定和动执过程，以提代理的性能和适应能。在现实的业务场景中，AI?58 Agents?在然语处理、机器技术、个性化推荐、还在医疗诊断、融险管理、智能城市管理等领域都展出了泛的应，对常活产了重影响。?3.2.6.6.63.2.6.6.6 多模态多模态?在智能领域，随着深度学习和

115、神经络技术的发展，多模态语模型成为了研究的热点之。传统的然语处理模型主要关注本数据的处理，多模态语模型则将本、图像、声等多种形式的数据进整合，实现了多模态信息的联合学习与应。这模型的出现，为机器在不同感知模态下进跨模态的语义理解提供了新的思路和解决案。多模态学习具体可以划分为个研究向?58：多模态表学习（Multimodal?Representation），模态转化（Translation），对（Alignment），多模态融（Multimodal?Fusion）和协同学习（Co-learning），常技术如多模态指令调优（Multimodal?Instruction?Tuning?，M-IT

116、）、多模态上下学习（Multimodal?In-Context?Learning，M-ICL），多模态思维链（Multimodal?Chain?of?Thought?，MCoT）以及构建任务解决系统的通框架（LAVR）?59等。多模态算法可分为基础模型和规模多模态预训练模型两类。基础模态是多模态的基本框架，在此基础上改进了许多新的规模多模态预训练模型。?3.2.73.2.7 I IB BMM 智能平台智能平台 watsonx.watsonx.aiai?IBM?watsonx.ai 是 IBM?watsonx 智能与数据平台的部分，它将基础模型持的成式?AI?功能和传统机器学习整合个贯穿 AI

117、命周期的开发平台，利企业数据调整和指导模型，并通过易于使的具来构建和完善性能提，从满企业客的需求。利 watsonx.ai，使部分数据，能够在短时间内构建 AI 应程序。IBM?59 watsonx.ai 提供了多种能，包括模型多样性和灵活性，可选择开发的模型、开源模型和第三模型，或构建的模型；IBM?对 IBM 开发的模型提供持，并针对第三知识产权索赔向客提供赔偿；IBM?watsonx.ai 提供端到端的 AI 治理，企业可以通过整个公司的可信数据来扩展和加速?AI?的影响，论数据位于何处；同时 IBM?watsonx.ai 持混合式多云部署，提供将企业 AI 作负载集成并部署到所选混合云

118、堆栈中的灵活性?60。?3.2.7.13.2.7.1 基础模型基础模型持持?IBM?watsonx.ai 可以访问?IBM?选择的?Hugging?Face 开源模型和其他第三模型，包括 Llama?3?and?Mixtral?8x7b，以及经过?IBM?开发的不同规模和架构的基础模型，包括开源的 Granite 模型和 IBM 定制的 Granite 模型等，以持不同的企业领域和例（如 RAG）。watsonx.ai 当前持的模型可参考附录?，可的基础模型持然语和编程语的各种例，并持多种语，可以在 Prompt?Lab 中查看这些模型的可以执的任务类型和 Prompt 样例?61。?IBM?

119、的基础模型的?Granite?系列包含系列 decoder-only 模型，可以效地预测和成语。这些模型是使来优质数据集的可信数据构建，涵盖领域包括融（SEC?提交）、法律（Free?Law）、技术（Stack?Exchange）、科学（arXiv、DeepMind?Mathematics）、学（Project?Gutenberg?(PG-19)）等，符合严格的?IBM?数据清理和治理标准，经过清理，包括去除仇恨、滥和亵渎、数据重复以及名单址等。?3.2.7.23.2.7.2 Prompt?LabPrompt?Lab?通过 IBM?watsonx.ai，AI 构建者可以使其中的基础模型，并使提

120、程构建提。可以使聊天、由形式或结构化模式在提编辑器中与基础模型进交互。多 60 种交互式使可以制定最佳的模型配置，持不同的然语处理（NLP）任务，如问答、内容成和摘要、本分类和提取等。?Prompt?Lab 是个基于图形界的代码具，可快速测试不同的模型和提。使 Prompt?Lab，可以快速较使了不同代码格式和指令的提之间的输出差异。以 llama-2-chat 为例，可使 Prompt?Lab 对模型进 Prompt 调优，将Prompt 保存成为模板或回话，持查看、导出 Curl、Python 的调代码等操作?62。?3.2.7.33.2.7.3 Tuning?StudioTuning?S

121、tudio?IBM?watsonx.ai?Tuning?Studio 通过提微调（Prompt-tune）基础模型，有助于利标签数据对基础模型进调优，以获得更好的性能和准确性。提 v 微调是种效、低成本的法，可以在不重新训练模型和更新其权重的情况下，让基础模型适应新的下游任务。调优完成后的模型，可以在?Prompt?Lab?中被使。IBM?watsonx.ai?Tuning?Studio 的后续版本还将提供模型微调等功能。?使?Tuning?Studio，可以通过调优较的基础模型，提其在然语处理任务（如分类、摘要和成）上的性能，使其在同模型系列中实现与较模型相似的结果。调优可以基础模型的多种能

122、，如成特定格的新本，以特定式成总结或提取信息，本分类等。调优的基本流程包括设计与使模型良好配合的提（可借助Prompt?Lab?进提程实验）、按照格式创建于模型调整的训练数据、创建调整实验以调整模型、评估调整后的模型以及部署调整后的模型等，Tuning?Studio 为这个过程提供了基于图形界的代码具?63。?61 3.2.7.43.2.7.4 数据科学与数据科学与 MLOpsMLOps?由 IBM?watsonx.ai 基础模型提供持的具、流程和运时环境，可以帮助数据科学家动构建 ML 模型，通过连接到各种?API、SDK?和资料库，动化从开发到部署的整个?AI?模型命周期流程。MLOps

123、持以可视化或或使代码的式构建模型，以公平和可解释的式部署、监控完整的命周期，利?MLOps?简化任何具的模型成，并提供动模型重新训练，其具体功能如表?1 所?60：?表?1?watsonx.ai?MLOps 功能?功能?标?描述?管道编排?创建动化管道?供数据科学家构建、训练和部署?ML?模型的单协作平台，持泛的数据源，使团队能够简化其作流程。借助动化?ML?和模型监控等级功能，可以在整个开发和部署命周期中管理其模型。?CPLEX 优化引擎?解决优化问题?使 CPLEX 优化器揭提性分析以改善的业务决策，例如规划、调度、定价、库存或资源管理。CPLEX 决策优化引擎应专业的数学算法和基于约束的

124、编程来解决业务标。在 CPLEX 求解器中，可共享表格或视图，以增强合作并加快洞察。?可视化建模?直观地开发预测模型?借助易于使的作流程，在统的数据和?AI?平台上将可视化数据科学与开源资料库和基于笔记本的界相结合。?62 动化开发?加速完成整个?AI?命周期?初学者可以利?AutoAI?快速，专家级数据科学家则可以加快?AI?开发的实验。AutoAI?会动执数据准备、模型开发、特征程和超参数优化。?合成数据成器?成合成表格数据?利现有数据或定制数据模式，成合成表格数据集。可以连接到现有数据库、上传数据件、对列数据进匿名处理、根据需要成尽可能多的数据，以解决数据缺或训练经典?AI?模型。?63

125、 3.33.3 数据平台和服务数据平台和服务?3.3.13.3.1 成式智能数据管理的挑战成式智能数据管理的挑战?成式智能训练过程中需要量的数据，这些数据既有原来传统数仓（如企业内部现存的关系型数据库）中积累的数据，也有来本，图，频，视频等多样性数据的训练要求。企业要把内部积累多年的数据资产变成智能，需要个数据平台打通各个数据，打破数据孤岛，以统的式提供给模型训练使。因此，新代平台要在满接传统数仓的同时持新的数据格式，进构建满模型平台和服务层数据访问要求的知识库。企业需要对数据进不同程度的预处理以满模型训练的要求，这过程需要多种数据处理具的持。在使数据的过程中：?贯彻数据治理以满保护隐私，安全

126、规范的相关法律法规要求。?甄别质量的数据，提训练的效率。?实现数据甚知识的命周期管理，满数据，知识不断更新，不断迭代的需求。?新代数据湖仓技术正是为了应对前不断发展的分析和智能需求的，解决海量多样数据的管理难题的同时保证数据质量（准确，公平等）和数据安全。?3.3.1.13.3.1.1 数据管理技术的发展数据管理技术的发展?随着企业数字化的发展进程，数据管理系统不断临新的挑战，回顾数据技术管理发展的历史，有助于我们更好的从发展的眼光看待企业级智能对数据管理系统的新需求。详图?8?数据管理发展历史。?64?图?8?数据管理发展历史?在 90 年代中后期，传统的数据仓库技术开始出现，主要以关系型数

127、据库组织结构化数据。数据通过转换、整合、清理后导到数据仓库，其中数据存储的结构与定义的模式（schema）强匹配。这种技术主要于决策持和商业智能，通常绑定在特定供应商，可扩展性有限，对结构化和实时数据处理能有限。?进 21 世纪初，随着数据量和种类的增，数据湖技术应运，以满企业对多样化原始数据、全量存储和全命周期管理的需求。数据湖从企业多个数据源获取原始数据，可以是任意类型，从结构化到结构化。这降低了量数据清理的成本，具有灵活可扩展的特点。然，数据湖项也临些挑战，包括维护的复杂性、数据质量不佳、对数据科学家的要求以及性能有限。存在数据治理缺失、数据孤和碎化的问题，有时甚形成数据沼泽。此外，数据

128、湖的巨挑战之是单结构的架构问题。例如，Hadoop 以低成本存储量数据、持开放的数据格式和动复制可性等表现优异，但是 Spark 作为数据处理框架由于其持数据转换、流式处理和 SQL 等功能得到泛认可，但不能与现有数据湖环境友好共存，必须外挂专有的计算集群。?65 随着云计算技术的进步，云数据仓库得以发展。具体，引了计算和存储的分离，有效解决了传统数据仓库在可扩展性的挑战。通过增加计算资源，可以确保在处理数据量时仍能保持性能。其中，Snowflake 是个具有代表性的例。它的优势在于易于管理，但相对于本地数据仓库成本较，仍然存在供应商锁定的问题，同时也需要进数据迁移，仅能够满些有限的智能（AI

129、）/机器学习（ML）例。?虽然数据湖已经在特定的应场景中已经被证明是成功的。然，随着成式智能应的企业级落地，企业迫切需要对这些部署进现代化升级，以保护在这些系统中的基础设施、技能和数据的投资，从满业务增带来的数据需求：?数据格式的多样性需要持更多的开放的数据结构。?数据的快速增需要可扩展的存储，量数据的处理需要可按需扩展的计算资源。?数据的运维管理，安全需要传统数仓的事务能。?很明显，种有效的法是将传统数据仓库或数据集市的关键特性与数据湖的优势结合起来。以下个关键要素迅速浮出：?具备弹性和可扩展的存储，以满不断增的数据规模需求。?采开放的数据格式，使数据对所有都可访问，同时对性能进优化，并具备

130、良好定义的结构。?开放的元数据（可共享），能够持多个消费引擎或框架。?持数据更新（ACID 特性）和事务并发处理。?综合的数据安全和数据治理，包括数据缘、完整的数据访问策略定义和执，以及地理分布等。?66 这些要素共同导致了湖仓体的出现。湖仓体是种数据平台，将数据仓库和数据湖的优点融合在起，形成统、协调的数据管理解决案。?以 Databricks，Dremio，Starburst 等为代表的第代数据湖仓提供者通常只提供了单引擎，只擅处理商业智能（BI）或者智能（AI）单个作负载，他们依托公有云部署，来持计算和存储资源的弹性扩展，数据治理能相对薄弱。对于很多企业，数据资产是他们的核资产之，他们需

131、要更多的部署选择以保证数据被安全合理的访问以实现数据价值。?3.3.1.23.3.1.2 数据湖仓数据湖仓 vsvs 数据仓库数据仓库?传统数据仓库没有实现计算和存储分离，新代云数据仓库实现了计算和存储分离，数据湖仓原持计算和存储分离。传统数据仓库主要是为了结构化和半结构化数据设计的，需要打开额外功能或者使特殊法来持开放数据件和开放的表格式。数据湖仓从设计之初就持结构化和结构化，内部很多件也同样以开放数据件格式存储。传统数据仓库绑定了专有提供商的查询引擎，数据湖仓可以根据需要切换不同的查询引擎。?67 图?9?数据湖仓对图?3.3.23.3.2 数据湖仓技术介绍数据湖仓技术介绍?数据湖仓技术的

132、开源态常活跃，在本章中我们将分章节，从数据格式、元数据管理、查询引擎、知识库和联邦查询等，介绍开源技术实现。图?10?湖仓开源技术是个开源技术的概览。?图?10?湖仓开源技术?3.3.2.13.3.2.1 数据存储数据存储?对象存储服务、块存储服务和件存储服务是云计算和分布式存储中常的三种存储模型?64。?3.3.2.1.13.3.2.1.1 对象存储服务对象存储服务?对象存储服务是种在云计算环境中存储和检索规模结构化数据的模型。?在对象存储中，数据被组织为对象，以对象为基本存储单元，每个对象包含数据、元数据和唯的标识符，并通过唯的标识符进检索。对象存储通常提供松散的致性，并持分布式架构，使其

133、成为云存储和数据分析的理想选择。?68 对象存储通常适于需要存储、检索和管理规模结构化数据的场景，例如图、视频、档等。?典型的对象存储服务提供商包括：IBM?Cloud?Object?Storage?(COS)，Amazon?S3?(Simple?Storage?Service)，Microsoft?Azure?Blob?Storage(ADLS)，Google?Cloud?Storage?(GCS)。开源对象存储服务包括 Ceph，MinIO。?3.3.2.1.23.3.2.1.2 块存储服务块存储服务?块存储服务将数据划分为固定的块，并将这些块存储在独的设备上，每个块都有唯的地址，允许直接

134、读写单个块。?由于块存储提供了低延迟、性能和随机访问的优势，因此它特别适于对存储性能有较要求的应场景，如数据库存储，虚拟机镜像存储等，这些特点也使其成为许多企业应的选存储模型。?典型的块存储服务提供商包括：IBM?Cloud?Block?Storage，Amazon?Elastic?Block?Store?(EBS)，Microsoft?Azure?Managed?Disks，Google?Cloud?Persistent?Disks。开源实现如 Ceph，GlusterFS，MinIO。?3.3.2.1.33.3.2.1.3 件存储服务件存储服务?件存储服务为提供了类似传统件系统的层次结构，

135、以件和录的形式组织数据，并通过络协议（如 NFS、SMB）提供对这些件的访问。?由于件存储允许多个或设备同时访问相同的件，持件的共享和协作，?因此它常适于需要共享数据和持多协同访问的场景，如企业共享件、应程序配置件等。?69 典型的件存储服务提供商包括：IBM?Cloud?File?Storage，Microsoft?Azure?Files，Amazon?Elastic?File?System?(EFS)，Google?Cloud?Filestore。开源实现如 GFS,?HDFS，Ceph。?3.3.2.23.3.2.2 数据中常的件存储格式数据中常的件存储格式?进制形式存储的格式因为其更的

136、件体积，更快速的序列化，持跨语等种种特性，成为了数据选的存储格式。评判个件格式是否适合进制形式存储，可以从以下点去分析：?倾向更快的写还是更快的读取速度。?是否持件分割，并处理数据。?压缩算法的持，压缩性能的较。?模式演变（?Schema?evolution）的持。?查询引擎的适配（例如：Spark 倾向于 Parquet,?Hive 倾向于 ORC）。?数据本是扁平化的，还是嵌套的。?数据读取是整体读取，还是少数字段的读取。?数据是否有频繁改动，对 ACID 的需求。?3.3.2.2.13.3.2.2.1 存储与列存储存储与列存储?件格式按存储式可以分为式存储和列式存储。?式存储是以为单位进

137、存储，?条数据所有字段都存储在同个块上。其写性能较，保证事务特性更容易，压缩效果较差。?70 列式存储是以列为单位进存储，将同列的内容连续存放在起。其写性能效率低，当读取少数列时，性能较，此外列存储的压缩效率，较难实现事务特性。?3.3.2.33.3.2.3 开放数据件格式开放数据件格式?本节将介绍三种主流的件格式，Parquet，Avro，ORC，并分析各的优缺点和适应场景。?3.3.2.3.13.3.2.3.1 ParquetParquet?Apache?Parquet 基于列存储的件格式，并持嵌套格式数据。Parquet 在数据领域的应场景包括 Apache?Spark，Apache?H

138、ive 和 Apache?Impala 等分布式计算框架。此外，作为 Apache?Arrow 的底层存储格式，Parquet 还提了数据交互的效率。?Parquet 件格式是解析的，其 schema 信息以及其他元数据信息起存储在件的末尾。Parquet 件是可分割的，因为它在 Footer 中存储了件块边界信息。系统通过读取这些信息，可以确定是跳过还是仅读取件的特定部分，从实现更效的读取，或并处理。对于模式演进，Parquet 持动模式合并，可以从简单的模式开始，根据需要逐渐添加更多列。Parquet 的优点包括:?列裁剪：只读取需要的列，实现效的列扫描，减少 IO 操作；?谓词下推：因为

139、 Parquet 中记录了每个 Row?group 的列统计信息，包括数值列的 max/min，字符串列的枚举值信息。这样可以从源头过滤掉不符合条件的数据，只读取需要的数据，进步减少 IO 操作。?更效的压缩与编码：因为同列的数据类型相同，所以可以针对不同列使更合适的压缩与编码式，降低磁盘存储空间。?71 3.3.2.3.23.3.2.3.2 AvroAvro?Apache?Avro 是基于存储的件格式。它可以持动态类型、嵌套数据结构和快速的进制编码。Avro 将数据定义和数据存储在个件中,?其中数据定义（Schema）以?JSON 格式存储，使其便于阅读和解释，详情可参考 IBM 站?65。

140、Avro 的优点包括：?持模式演进。?它可以处理类似缺少字段、添加字段和更改字段等的模式更改。?持跨编程语实现。?持复杂的数据结构，如数组（arrays）,?枚举类型（enums）,?maps?和?unions。?3.3.2.3.33.3.2.3.3 ORCORC?ORC 是基于列存储的件格式。和 Parquet 类似，它并不是个单纯的列式存储格式，仍然是先根据组分割整个表，在每个组内进按列存储。和 Parquet 不同，ORC 原是不持嵌套数据格式的，是通过对复杂数据类型特殊处理的式实现嵌套格式的持。在 ORC 件中保存了三个层级的统计信息，并实现谓词下推。ORC 提供了 3级索引，并利这些

141、索引规避部分不满查询条件的件。ORC 格式的表还持事务ACID，详情可参考 Apache 站?66?。OCR 的优点包括：?有多种件压缩式，并且有着很的压缩。?提供了多种索引，row?group?index、bloom?filter?index。?持复杂的数据结构。?持事务 ACID。?持谓词下推。?72 3.3.2.3.43.3.2.3.4 开放数据件格式开放数据件格式总结总结?Avro 是存储格式,?最的优点是可以解耦数据的产者和消费者，实现快速的数据接升级和兼容性。还有些系统也会选 Avro 格式去存储 log 件。说到列式存储，Parquet 前是数据分折领域使最的列存格式，也是使 S

142、park?推荐的存储格式。Hive 对 ORC 的持更好。ORC 件通常 Parquet 件，ORC 索引可以加快查询速度。对于 ORC 和 Parquet 的选择问题，具体还要看其依赖的计算引擎，我们不能脱离了整个态环境去进评判。?3.3.2.43.3.2.4 开放表格式开放表格式?Table?Format 是表的抽象，将数据集件组合起来，以单个“表”的形式呈现，允许和具与表数据效交互，它本并不存储数据，只是定义了表的元数据信息以及数据件的组织形式、统计信息以及上层引擎读取和写的相关 API。?开放式表格式提供了额外的类数据库功能，简化了数据湖的优化和管理开销。这些功能包括?67?ACID

143、事务：保证操作的原性，保证数据的致性?记录级别的操作：允许单个的插、更新或删除?索引：提性能，如分区技术?并发控制：允许多个进程同时读写相同的数据?模式演化：允许在表的命周期内添加或修改表的列?时间旅：让您能够查询过去某个时间点的数据?73 本章将介绍三种主流的表格式：Iceberg、Hudi、Delta?Lake，并较它们的异同点，更多对可以参考?67。?表?2?Iceberg、Hudi、Delta?Lake 的对?Iceberg?Hudi?Delta?Lake?ACID?持?持?持?多版本控制?持?持?持?时间旅,snapshot 回滚?持?持?持?模式演变?持?有限持?持?数据变更?In

144、sert，Merge?into，Delete，?Merge?on?read?Upsert,?Delete,?Insert,?Merge?on?read，Copy?on?write?Update，Delete，Insert，?Merge?into，?Merge?on?write?分区演变?持?不持?不持?索引管理?否?持?否?件格式持?Parquet，ORC，Avro?Parquet，Avro?Parquet?依赖 Hive?是?是?否，有元数据管理?Apache?Iceberg 可以适配 Presto，Spark 等引擎提供性能的读写和元数据管理功能。具有以下特点：?74 Apache?Ice

145、berg 相较于 Delta?Lake 和 Hudi 是更加通化的设计，它完美的解耦了计算引擎底下的存储系统，便于多样化计算引擎和件格式，很好的完成了数据湖架构中的Table?Format 这层的实现，因此也更容易成为 Table?Format 层的开源事实标准。Delta?Lake 的定位是流批体的存储层，其优点就是与?Spark?的整合能，尤其是其流批体的设计，配合 multi-hop 的 data?pipeline，可以持分析、Machine?learning、CDC 等多种场景。另外，开源的 Delta?Lake 是 Databricks 闭源的个简化版本，它主要为提供个 table?

146、format 的技术标准，闭源版本的 Delta?Lake 基于这个标准实现了诸多优化。Hudi 强调了其主要持 Upserts、Deletes?和?Incremental?数据处理，另特是持 Copy?On?Write 和 Merge?On?Read。具体选择那种技术架构要结合业务需求来考虑。?3.3.2.4.13.3.2.4.1 Hive?MetaStoreHive?MetaStore?Hive?Metastore（HMS）是 Apache?Hive 中负责存储和管理元数据的组件。元数据就是描述数据的数据，例如表名、表类型、存储路径等信息。当我们存储张表，它的数据部分会存在件系统中，它的元

147、数据部分通常存储在 Hive?Metastore 中。Hive?Metastore会将这些元数据存储在所关联的关系型数据库（例如 MySQL、PostgreSQL）中。在 IBM?watsonx.data 中，HMS 使 PostgreSQL 来持久化数据。从?Hive?3.0?开始，Hive?Metastore 已经完全独于 Hive，?需安装 Hive 的其余部分即可运，不限于 Hive，其他第三服务也可以使其作为元数据库服务。换句话说 Hive?Metastore 就像是个图书管理员，分别类地记录了书籍的名称，录，摆放位置等信息，当读者需要借些书籍，图书管理员可以快速地定位并给与这些书籍

148、的详细信息。总的来说 Hive?Metastore 的 75 重要作之，是帮助底层计算引擎效地定位并访问分布式件系统中的数据源。计算引擎可以通过这些元数据来确认如何解析、授权和效执查询。Hive?Metastore 中的元数据与数据湖中的数据样重要。这意味着其元数据必须是持久的、可的，并应该具备灾难恢复能。Hive?Metastore 功能架构图参考 hive 官?68。Hive?Metastore 的主要功能：元数据存储，元数据管理，元数据查询优化。?Hive?Metastore 作为元数据和数据件之间的桥梁。提供了数据抽象和数据发现两个核的功能。当您创建个新表时，与模式相关的信息，如列名、

149、数据类型等，会存储在Hive?Metastore 的关系数据库中。Hive?Metastore 并不是完美的，也存在着架构本的缺陷，例如存储性能瓶颈与容灾备份的需求。Hive?Metastore 也在不断完善，例如引进了缓存机制。IBM?cloud 也提供了完全托管的可的 Hive?Metastore 功能供选择，详 IBM?blog?69。?3.3.2.53.3.2.5 数据联邦查数据联邦查询询?3.3.2.5.13.3.2.5.1 数据联邦查询技术的介数据联邦查询技术的介绍绍?数据联邦查询技术是种先进的数据库或数据存储系统的查询法，泛应于湖仓体化架构。它允许在分布式环境中跨多个分散的数据源

150、执复杂的数据查询，使不同的能够缝地在这些分布式数据源上通过标准 SQL、JDBC 或 ODBC 等统查询式效地访问数据并且需移动或者集中存储数据，从节省了建集中数据仓库的成本，避免了海量数据复制的作量和资源浪费。对于企业构建统数据平台，量迁移数据成本太，通过数据联邦查询技术可以接已有数据系统，加速为成式 AI 提供的统数据平台接现有的企业数据资产。?76 3.3.2.5.23.3.2.5.2 开源湖仓架构中的数据联邦查询技术开源湖仓架构中的数据联邦查询技术?基于实现跨多个数据源进查询和分析时的作原理不同，我们可以将数据联邦查询技术分成三类：开源的联邦查询引擎、数据虚拟化平台、分布式数据处理具。

151、虽然它们的作原理不同，但是它们都可以持复杂的联邦查询操作。?3.3.2.5.33.3.2.5.3 开源的联邦查询引开源的联邦查询引擎擎?开源的湖仓架构通常需要能够持联邦查询的开源引擎，以实现在分布式环境中查询和整合多个数据源。?当联邦查询引擎接收到联邦查询的 SQL 语句时，通常会解析查询计划，并根据各个标数据源的要求转换成和标数据源相关的 SQL 语句；在转换后，联邦查询引擎可能会进些优化步骤，以确保成的查询在性能和效率上都能得到优化；然后，联邦查询引擎成与标数据源相兼容的原 SQL 查询语句，直接发送到各个数据源进查询；最后，联邦查询引擎将把从各个标数据源上得到的结果整合到起，最终提供个统

152、的查询结果。?以下是些常于湖仓架构的开源数据联邦查询引擎：?Presto（即 PrestoDB）：PrestoDB 是由 Facebook 开发的个开源、灵活、可扩展的分布式 SQL 查询引擎，持连接多种数据源，包括关系型数据库（如MySQL、PostgreSQL）、NoSQL 数据库（如 Cassandra、MongoDB）、数据湖（如 Apache?Hive、Amazon?S3）等，这种多数据源的持使得 PrestoDB 成为个适于复杂数据态系统的查询引擎。同时它也持在多个数据源中执联 77 邦查询。因此，PrestoDB 的灵活性和性能使其成为企业和在 Open?Lakehouse 架构

153、中的个强选择。?Trino（即原 PrestoSQL）：Trino 是?个开源的分布式 SQL 查询引擎。它是PrestoDB 的分，继续发展和维护 Presto 的开源项，并提供了许多改进和新功能。Trino?内置了多种 Connector 持多种数据源连接，Trino 的灵活性和性能使其成为数据处理和分析领域的个重要具，特别适于需要在分布式环境中查询各种数据源的场景，在 Lakehouse 架构中被泛应。?Dremio：Dremio 是款开源的新代助服务的数据湖引擎。它是款完整的产品，通过界化的 SQL 输查询数据湖的数据。Dremio 持连接多种数据源，包括数据湖（如 Amazon?S3

154、、Azure?Data?Lake?Storage）、关系型数据库（如MySQL、PostgreSQL）、NoSQL 数据库（如 MongoDB、Cassandra）等，也持多数据源的联邦查询功能，使能够轻松访问和整合不同类型的数据。?Apache?Drill：Apache?Drill 是个开源的分布式 SQL 查询引擎，?具有敏捷性、灵活性和易性，专为 Hadoop，NoSQL 和云存储设计。它持多种类型的NoSQL 数据库（乎可以查询任何类型的 NoSQL 数据库）和件系统查询，它持联邦查询，可以通过 SQL 查询语整合不同类型和位置的数据。?3.3.2.5.43.3.2.5.4 数据虚拟化

155、平台数据虚拟化平台?数据虚拟化平台（Data?Virtualization?Platforms)是种数据集成技术，通过创建个抽象的、统的数据访问层，使得可以从个单的接访问或查询分布在多种数 78 据源（关系型数据库、NoSQL?数据库、件系统、云存储等不同类型的数据源）中的数据,?需了解底层数据源的具体细节。?数据虚拟化平台能够对数据进抽象，隐藏了数据的物理位置和格式细节，使得可以以种更简单、更统的式查询和操作数据?70。?当数据虚拟化平台接收到联邦查询的 SQL 语句时，先会将查询请求转换为逻辑查询计划；根据虚拟数据视图和元数据信息，数据虚拟化平台进查询优化，这可能涉及到重写查询计划，选择合

156、适的执计划，并利缓存和索引来提查询性能；然后，数据虚拟化平台将逻辑查询计划转换为和各个标数据源相关的 SQL 语句，进发送到各个标数据源进查询；最后，数据虚拟化平台将把从各个标数据源上得到的结果整合到起，最终提供个统的查询结果。?湖仓架构通常会利多种数据虚拟化平台来实现数据的统管理和查询。如些常的数据虚拟化平台：Denodo、TIBCO?Data?Virtualization?和 IBM?Cloud?Pak?for?Data。?这些平台来不同的供应商，为企业级应设计，提供了可靠的技术持、管理功能和监控能，我们可以根据特定需求和架构设计选择合适的种或多种数据虚拟化平台来实现数据的统管理和查询。?

157、3.3.2.5.53.3.2.5.5 分布式数据处理具分布式数据处理具?分布式数据处理具是类于处理规模数据集的软件具，它们在多台计算机或服务器上处理可能分布在不同数据源、不同位置中的数据。联邦查询技术允许在多个分布式数据存储之间进查询和操作，需将数据集中到个单的位置或系统。因此，分 79 布式数据处理具常常与联邦查询技术结合使，以持在分布式环境中跨多个数据源进查询和操作，从实现数据的统访问和管理。?当分布式数据处理具接收到联邦查询的 SQL 语句时，先从各个数据源中提取需要查询的数据，可以以分布式的式分区加载到分布式数据处理具的数据集中，这样数据将会在存储中的多个节点上进分布；SQL 查询语句

158、被转换成适于分布式数据处理具的查询计划，这个计划会分解查询操作，使得可以并处理不同部分的查询；最终，分布式计算集群中的节点将各的计算结果合并，整合成个统的查询结果。常的具有Apache?Spark，Apache?Doris 等。?3.3.2.63.3.2.6 开源开源 SQLSQL 查询引查询引擎擎?3.3.2.6.13.3.2.6.1 SQLSQL 查询引擎查询引擎?SQL 查询引擎是种软件组件或系统模块，于解析、执和处理 SQL 查询语句。这类引擎能够接收、解释和执提交的 SQL 查询，并从数据存储中检索、操作和处理数据，最终返回符合查询条件的结果。关系型数据库都内置 SQL 查询引擎的持

159、，对于数据湖和湖仓，这就需要独的查询引擎来实现统 SQL 对各种数据源执操作。独的查询引擎不依赖于特定数据库系统或数据存储技术，为提供了跨数据源执查询和分析的能，允许在不同数据存储系统中进数据聚合、联接、筛选和分析，提供了更灵活的数据处理和查询功能。?在湖仓体架构中，多个独的开源查询引擎可以被使，以便针对存储在数据湖中的数据执不同类型的查询和分析操作。湖仓体架构中常到的些流的开源 SQL 查询引擎，如：Presto，Apache?Spark，Apache?Hive，Apache?Drill 等。?80 3.3.2.6.23.3.2.6.2 PrestoPresto?Presto 是个性能、分布

160、式的 SQL 查询引擎，于处理规模数据分析和查询。Presto 采 MPP（Massively?Parallel?Processing 规模并处理）架构，持分布式计算，能够运在规模的集群上，实现并发性和可扩展性?71。?Presto 分布式的架构和设计理念，让 Presto 具备常快速的查询执速度和低延迟，即使在 PB 级别甚更规模的数据量下也能表现出。除此之外，Presto 持标准的 SQL 查询语，并且可以缝查询多种数据存储系统，包括关系型数据库、NoSQL 数据库、云存储等。基于这些显著的优势，Presto 在各个领域都有着泛的应，从数据湖、数据仓库、实时分析到志分析等，都能发挥出的效果

161、。它的性能和灵活性使得企业能够快速且灵活地分析处理海量数据，为决策提供更可靠的数据持。因此，Presto已成为许多组织和公司进数据分析和处理的选具之。?3.3.2.6.33.3.2.6.3 Apache?Spark?Apache?Spark?SQLSQL 模块模块?Apache?Spark 作为个开源的分布式计算系统，设计于处理规模数据，并持复杂的数据处理和分析任务。Apache?Spark 不是传统意义上的 SQL 查询引擎，尽管它最初是为持复杂的数据处理任务设计的（如机器学习、图分析、流处理等），但它也提供了功能强的 Spark?SQL 模块，于执 SQL 查询和操作结构化数据。这种?SQ

162、L 查询的功能使得 Spark 更易于使，并且使得可以通过 SQL 来处理和分析数据，尤其是对于熟悉 SQL 查询语的来说更加便。Apache?Spark 架构图参考?72。Spark 分布式计算架构，可以使在规模数据上执性能的 SQL 查询和操作。此外 Spark?SQL?提供了个统的?API，允许使 SQL 查询和常规的 DataFrame?API（类似于关系 81 型数据库表）来处理数据。Spark?SQL 使 Catalyst 查询优化器来优化 SQL 查询计划，并持标准的 SQL 语法，包括?SELECT、JOIN、GROUP?BY、WHERE 等操作。?除此之外，Spark 与 M

163、Llib（Spark 的机器学习库）集成，可以缝进机器学习模型的训练和推断，并持丰富的数据处理操作，包括数据清洗、转换和分析。?3.3.2.6.43.3.2.6.4 Apache?HiveApache?Hive?Apache?Hive?68是建在 Hadoop 之上的数据仓库软件，它提供了类似于 SQL 的查询语，称为 HiveQL，于查询和分析存储在 Hadoop?HDFS 中的规模数据集。它最初由 Facebook 开发，于处理他们庞的数据集。它于 2008 年作为开源项捐赠给Apache 基会，并迅速成为 Hadoop 态系统中受欢迎的组件之。?Hive 可以将数据存储在 Hadoop

164、的 HDFS（Hadoop 分布式件系统）中，也持其他存储格式，如 HBase 和 Amazon?S3。对于熟悉 SQL 的来说，学习和使 Hive 相对容易，可以直接与 Hadoop 态系统缝集成，利 Hadoop 集群的强功能；但是由于使 MapReduce 等批处理作业，对于实时性要求的场景，Hive 可能法满，对于些复杂的查询或规模数据集，性能可能不如其他实时处理引擎。?总体来说，Apache?Hive 在处理规模数据时是个强的具，尤其适合于批处理和对数据进较复杂分析的场景。?3.3.2.6.53.3.2.6.5 Apache?Drill?Apache?Drill?Apache?Dri

165、ll?73是个开源的分布式 SQL 查询引擎，最初由 MapR 公司开发，其标是提供种能够实时查询规模分布式数据的解决案。?82 Apache?Drill 能够使标准的 SQL 语法直接查询多种数据源，包括传统关系型数据库，件系统数据，NoSQL 数据库和云存储等。它可以在查询过程中缝地处理这些不同的数据源，需预定义模式或进数据转换。Drill 是为分布式环境设计的，能够在多个节点上并执查询，从提查询性能和可扩展性。能够在应程序中嵌 Drill 引擎，使得数据查询和处理能可以被直接集成到应程序中，从简化了数据分析和应开发的过程。虽然 Drill 主要于批量查询和分析，但也持实时查询，通过轻量级

166、的执计划和查询引擎，尽可能地提供快速的响应时间。?Apache?Drill 的发展直专注于提供更的查询性能、更好的兼容性以及更泛的数据源持。其持续改进和发展使得它成为处理规模数据查询和分析的重要具之，并且在数据格式多样性和模式查询有着显著的优势。?3.3.2.6.63.3.2.6.6 SQLSQL 查询引擎的选型查询引擎的选型?对不同的场景和需求，如何选择 SQL 搜索引擎？可以先参考下这张表，对这四种SQL 搜索引擎有个更深的了解。?表?3?四种开源 SQL 查询引擎的较?场景/特性?Presto?Apache?Spark?Apache?Hive?Apache?Drill?交互式查询?Pre

167、sto 是专注于交互式查询的引擎，适于需要快速响应查询的场景。?Spark 虽然可以执 SQL 查询，但对于规模数据的交互式查询，性能可能Hive 在交互式查询性能较差，不太适于需要即时响应的场景。?Drill 适于需要实时查询的场景，能够在较短时间内完成对数 83 不如专的 SQL引擎。?据的查询和分析。?批量处理?Presto 能够执批量处理，但更擅于交互式查询，不是最佳的批量处理引擎。?Spark 是通的数据处理引擎，适于批量处理和流处理，具有泛的途。?Hive 专于批量处理和规模数据分析，对于需要对静态数据集进批量处理的场景较为适。?Drill 也适于批量查询和处理，但其重点是在模式查

168、询和实时性能上。?多数据源查询?Presto 常擅于查询多种数据源，持各种数据格式和多种数据源的缝查询。?Spark 也能够处理多种数据源，但在查询多种数据源可能不如 Presto 灵活。?Hive 适合于与Hadoop 态系统集成，能够查询 HDFS 等存储系统中的数据。?Drill 专注于模式查询，持多种数据格式和多数据源查询。?实时性能要求?Presto 能够提供较快的查询响应时间，适于对查询响应速度要求较的场景。?Spark 在些场景下能够实现近实时处理，但在某些复杂查询下性能可能受限。?Hive 在实时性能表现较差，不适合需要即时响应的场景。?Drill 在些场景下能够提供较好的实时

169、性能，但对于复杂的查询或规模数据集 84 可能性能不理想。?这些引擎在不同的场景中表现出不同的特点和优势，选择哪个取决于具体的使场景和需求。例如，如果需要性能、交互式分析，则 Presto 可能是个不错的选择；如果需要个通的数据处理引擎，包括流处理和机器学习，则 Spark 可能更适合。根据具体的业务需求和数据处理标，选择最适合的引擎才是关重要的。?3.3.2.73.3.2.7 数据处理和注数据处理和注?Apache?Flink?是开源的分布式引擎，于对界限（流）和有界限（批处理）数据集进有状态处理。流处理应程序旨在连续运，最限度地减少停机时间，并在摄取数据期间对其进处理。Apache?Fli

170、nk 专为低延迟处理、在内存中执计算、实现可性、消除单点故障以及平扩展设计。Apache?Flink 专为流式传输优先开发，为流处理和批处理提供了统的编程接。Apache?Flink 提供持的些常应程序类型包括：事件驱动的应程序，数据分析应程序，数据管道应程序。?Apache?Spark 如前所述的设计于处理规模数据除了有强的查询能之外，也能很好的处理数据的 ETL，原持批处理和流处理，相对于 Flink 原流，Spark 是通过微批处理，延时性略差于 Flink。Spark 更适合快速的批处理。?CDC 变更数据捕获是种经过验证的数据集成模式，于跟踪数据更改，并向必须响应这些更改的其他系统和

171、服务发出警报。变更数据捕获有助于确保所有依赖数据的系统数据同步，功能正常。Debezium 是 Red?Hat 开源的变更数据捕获具，持 Mysql，85 MongoDB，PostgreSQL，SQL?Server，Oracle，Db2，Cassendra 等，前没有直接持 Presto，需要去扩展。?3.3.2.83.3.2.8 向量数据向量数据库库?3.3.2.8.13.3.2.8.1 RAGRAG 和向量数据库和向量数据库?在专业领域成式智能，企业往往到 RAG 和向量数据库，参考 3.2.5。这简单描述了 RAG 的主要组成:?依次是：数据提取?embedding（向量化）?创建索引?

172、检索?动排序（Rerank）?LLM 归纳成。事实上，乎任何企业都可以将其技术或政策册、视频或志转化为称为知识库的资源，从增强 LLM。这些来源可以持客或现场持、员培训和开发员产等例。除此以外 RAG 还降低了 LLM 泄露敏感数据或产不正确或误导性信息的可能性。同时也可以降低在企业环境中运基于LLM 的聊天机器的计算和财务成本。IBM 推出的 AI 和数据平台 watsonx 就包括了 RAG功能?74。?向量数据库是种特殊的数据库，它以多维向量的形式保存信息。可以参考 3.2.5.2。向量数据库在跟 LLM 结合以后，可以有多种式持 LLM，包括：?提供提程的知识库。?做相似度搜索，分类等

173、。?作为 LLM 模型的缓存。?同时向量搜索也在改变传统数据库的搜索能，使数据库结合向量搜索具备相似度搜索的能。不少传统的数据库如 PostgreSQL 就持向量搜索插件的式持向量搜 86 索。根据向量数据是否开源友好、是否是数据库，向量数据库可以简单划分为下图四项限。?图?11?向量数据库分类图?75?通常向量数据库有如下特性：?持向量相似性搜索，它会找到与查询向量最近的?k?个向量，这是通过相似性度量来衡量的。量相似性搜索对于图像搜索、然语处理、推荐系统和异常检测等应常有。?使量压缩技术来减少存储空间并提查询性能。量压缩法包括标量量化、乘积量化和各向异性量量化。?可以执精确或近似的最近邻搜

174、索，具体取决于准确性和速度之间的权衡。精确最近邻搜索提供了完美的召回率，但对于型数据集可能会很慢。近似最近邻搜索使专的数据结构和算法来加快搜索速度，但可能会牺牲些召回率。?持不同类型的相似性度量，例如 L2 距离、内积和余弦距离。不同的相似性度量可能适合不同的例和数据类型。?87 可以处理各种类型的数据源，例如本、图像、频、视频等。可以使机器学习模型将数据源转化为向量嵌，例如词嵌、句嵌、图像嵌等。?向量数据库绝不仅仅是来进简单的向量检索，要想真正提升开发者的开发效率和使成本，需要系统开发者深理解硬件、存储、数据库、AI、性能计算、分布式系统、编译原理、云原等，以确保其稳定性、性能和易性。除此以

175、外，可扩展性、安全性、性能以及成本问题也是所关的。?3.3.2.8.23.3.2.8.2 MilvusMilvus?Milvus 是 Zilliz 于 2019 年 10 正式开源的基于原向量设计的分布式向量云原数据数据库。它集成了前在向量相似性计算领域较知名的个开源库（Faiss，SPTAG等），通过对数据和硬件算的合理调度，Milvus 能够很好地应对海量向量数据。?Milvus 前是最活跃热度最的向量数据库，Milvus?2.3.x 提供了 GPU 版本，性能呈现?CPU?版本快?3?-?10?倍。除此以为，Milvus 先后持了范围搜索，Upsert、Kafka?Connector、A

176、irbyte，动态 schema 等种种特性。Milvus 已有应场景包括：图检索系统，视频检索系统，频检索系统。分式检索系统，推荐系统，智能问答机器。Milvus 的特点包括：?持 11 种索引类型，是前持索引类型最多的向量数据库。?持 RBAC。?云原持，可伸缩。?API 档全。?88 3.3.2.8.33.3.2.8.3 ChromaChroma?Chroma 是 AI 原的基于向量检索库实现的轻量级开源向量数据库。作为后起之秀，Chroma 在 2023 年中发布了第个向产的版本 V0.4,?它的优点是易、轻量，由于刚刚发布所以功能相对简单。Chroma 简化了构建 LLM 应程序的过

177、程,?Chroma 下个重要的程碑是从单节点到分布式系统以及提供云服务能?76。Chroma 的主要特点有：?功能丰富：持包括查询、过滤、密度估计和许多其他功能。?持 LangChain?(Python 和 Javascript)、LlamaIndex。?在 Python?notebook?中运的相同 API 可扩展到产集群。?3.3.2.8.43.3.2.8.4 WeaviateWeaviate?Weaviate 是个开源向量数据库。它可以缝扩展到数亿个数据对象。其凭借易、开发者友好、上快速、API 档全等特点脱颖出。Weaviate 更适合需要快速集成向量数据库的开发员。Weaviate

178、的些关键特性有：?速度：Weaviate 可以在毫秒内从数百万个对象中快速搜索出最近的 10 个邻居。?灵活性：使 Weaviate，可以在导或上传的数据时对数据进向量化，可以利与 OpenAI，Cohere，Hugging?Face 等平台集成的模块。?快速部署：从原型到规模产，Weaviate 都强调可伸缩性、复制和安全性。?搜索扩展：除了快速向量搜索，Weaviate 还提供推荐、摘要和神经搜索框架集成。?89 3.3.2.8.53.3.2.8.5 Q Qd drantrant?Qdrant 可以作为 API 服务运，持搜索最接近的维向量。使 Qdrant，可以将嵌或神经络编码器转换为应

179、程序，于匹配，搜索，推荐等任务。以下是 Qdrant的些关键功能:?通的 API：提供 OpenAPI?v3 规范和各种语的现成客端。?速度和精度：使定义 HNSW 算法进快速准确的搜索。?先进的过滤法：允许基于相关量有效载荷的结果过滤。?不同的数据类型：持字符串匹配、数字范围、地理位置等。?可伸缩性：具有平扩展功能的云原设计。?效率：内置 Rust，通过动态查询规划优化资源使。?Qdrant?以 Rust 语构建，提供 Rust、Python、Golang 等客端 API，能够满当今主流开发员的需求。Qdrant 更适合追求低成本基础设施维护的开发员。?3.3.2.93.3.2.9?图数据库

180、图数据库?图数据库是种以图结构存储数据的数据库类型，其中数据以节点（实体）和边（关系）的形式表。图数据库可以使图算法和遍历有效地查询和分析复杂且相互连接的数据。在智能领域，图数据库应常泛，可以参考 3.2.5.6。开源的图数据库较多，这只例举其中个：?Neo4j 是前最流也是时间较久的开源图数据库，原持图数据存储，提供集群，ACID 事务持，持单机部署，可以跟 Spark 集成。?90 JanusGraph Java 实现的分布式图数据库，持 ACID，可以跟 Spark 集成，持创建任意多图。?Dgraph Go 实现的分布式图数据库，持 GraphQL 查询，持多跨数据中复制，持可和可靠性

181、。不持 Spark 集成。?3.3.33.3.3 I IBMBM 湖仓管理具湖仓管理具?watsonx.datawatsonx.data?IBM?在 2023 年 7 发布了湖仓产品 IBM?watsonx.data.?做为新的数据管理的战略产品，IBM 在 watsonx.data 中投了很多资源，在收购了 Ahana,?成为 Presto 社区的重要贡献者之来影响查询引擎的市场的同时，IBM 还在开源的基础上做了很多增强，详细架构参考图?12?IBM?watsonx.data 架构图。?图?12?IBM?watsonx.data 架构图?91 3.3.3.13.3.3.1 多云部署多云部署

182、?部分湖仓提供商只在部分或者有的公有云上提供服务。在实际使中，企业的数据实际可能存在多种云提供商和企业内部数据中。IBM 依赖于 Red?Hat?OpenShift?虚拟化这层，屏蔽不同云的差异，实现了同套实现持混合云部署。这不仅节省了运维成本同时为了企业内部数据共享提供了便捷。数据在成式智能中是企业的重要资产，所以持本地部署，保护企业数据资产，是企业构建统数据平台的重要考量之。?3.3.3.23.3.3.2 数据治理数据治理?部分的开源实现没有很好的数据治理，在整个 AI 或者数据分析中，可信的数据才能得到可信的结果。没有可信的质量的数据输，很难得到理想的 AI 赋能。质量差的数据是企业获得

183、质量智能分析的主要障碍，很容易导致“垃圾进“和”垃圾出”的问题。数据资产是企业最重要的核资产，如何安全，合理合规的使数据在整个数据命周期管理中常重要。如果数据使过程存在泄密，不合规等情况，那么没法开展有效的智能分析。不同智能系统对于定量（结构化）、定性（结构化）数据集的处理能也不尽相同。IBM 在开源的 Presto 的基础上，不仅构建了内置的数据访问控制，可以通过不同对象级别做不同的访问控制来保证数据只有在被给定权限的才能访问。同时IBM?watsonx.data 跟 IBM?Knowledge?Catalog?集成完成数据质量控制、数据脱敏、和数据命周期管理等数据治理场景，从开始就把数据治

184、理问题考虑到产品中。在 IBM?watsonx.data 产品中可以键集成 IBM?Knowledge?Catalog,?并应 IBM?Knowledge?Catalog 中制定的脱敏规则等，在后续通过 Presto 查询的过程中，数据就严格脱敏。?92 3.3.3.33.3.3.3 持图形，图像，视频和持图形，图像，视频和 RAGRAG?随着短视频，社交媒体的发展，企业的数据格式不仅仅包含传统的数仓，数据湖的数据，还有越来越多的图形，图像，视频数据产。watsonx.data 产品内置了 Milvus 服务，可以直接在 watsonx.data 中启动 Milvus,?通过向量化后对图形，图

185、像，视频做搜索，同时也可以把 Milvus 做为 RAG 的知识库，完成知识库构建，知识搜索，再结合LLM 完成最终的答案，传统湖仓服务没有包含 AI 新挑战的向量数据库，需要企业单独管理。未来 watsonx.data?会有更多的数据资产到企业知识的场景和功能，站式的服务企业分析和 AI 的数据需求，来满成式智能的统数据平台要求。同时watsonx.data 也会引数据治理能到知识库，完成整体的数据治理。?3.3.3.43.3.3.4?持多查询引擎持多查询引擎?watsonx.data 不仅内置了 Presto 做为查询引擎，同时还内置了 Spark 引擎跟watsonx.data 缝集成,

186、?可以根据的需要使 Spark 引擎注数据，使Presto 引擎查询数据，或者直接通过 spark 引擎做数据中间处理再插回湖仓，还可以通过 Spark 跟企业内部图数据库集成。不仅如此，同样的数据 watsonx.data 可以通过共享Hive?Metastore 的式使 Db2 查询引擎或者 Netezza 做为查询引擎来满不同的集成和业务需求。除此之外，watsonx.data 还提供了基于 C 语的查询引擎，前还处于技术预览阶段。?93 3.3.3.53.3.3.5 数据处理部分数据处理部分?watsonx.data 除了跟开源的数据处理产品集成，还可以跟 IBM?Data?Stage

187、 集成，通过图形化任务编排的式完成复杂的 ETL。未来 watsonx.data 还会跟 IBM?CDC 等其他产品家族的集成，可以实现更多的数据实时注能，也可以通过内置的 Spark 引擎完成数据加处理，提分析和 AI 使数据的效率。?3.3.3.63.3.3.6 安全可扩展安全可扩展?watsonx.data 不仅仅基于很多开源组建，做为企业级产品，watsonx.data 做了很多安全增强，修复了很多安全漏洞，同时做了更多跟第三的集成增强，如在原来 Hive?Metastore 集成上提供了 Kafka?listener 接，允许外部去同步 Hive?Metastore 的变更。作为企业

188、级的产品，watsonx.data 解决很多企业基于开源的升级和运维的痛点，不仅有可靠的安全扫描，版本升级测试，且有企业级服务团队提供补丁和升级包，这将节省企业运维的成本。?3.3.3.73.3.3.7 开放的态开放的态?watsonx.data 基于开源组建构建，使开放的数据格式和表格式，可以集成开源的各种报表、数据处理和机器学习具。IBM 在 2023 年收购了 Presto 基会两创始成员之 Ahana,?成为 Presto 开源项的主要贡献之，IBM 在不停地回馈社区。?94 3.43.4 基础撑平台基础撑平台?3.4.13.4.1 基础基础撑平台综述撑平台综述?企业通常需要结合实际业

189、务拥有的模型能，训练私有模型更好的为业务赋能。在这过程中，会遇到来技术和技术领域的诸多挑战，如安全合规、规模数据处理、算利率问题（章节 2.2.1），以及从常体验上对于机协同（章节 2.2.2）提出的新要求。?前构建套企业级成式智能平台需要具备丰富的智能相关知识以应对上述挑战，这些知识涉及对于模型和业务的理解，混合云平台上部署应时硬件集成，资源优化在内的。具体在本章节，我们将从技术栈的度讨论成式智能如何更好的与混合云相结合，在治理相关章节会讨论随着模型技术在混合云上应，如何利现有混合云领域的技术和模型相结合解决模型在混合云架构落地中的治理能的相关趋势（章节 4.6）。?图?13 基础撑平台概览

190、?95 容器编排平台为上层应（如数据服务平台，AI 平台）提供运维管理层的撑。同时实现通过致性的运维管理式将容器部署在异构的环境中（如私有云和公有云之间，或不同公有云平台之间），如 Kubernetes?77?或 OpenShift?78。为更好的应对模型所带来的挑战，我们收录并整理了以下种常的措施或技术向。请注意，这些措施或技术向在实施阶段需要结合实际环境的硬件撑情况。?3.4.23.4.2 基础基础撑撑平台应对规模数据处理平台应对规模数据处理的常措施的常措施?由于海量、多源、动态更新的数据是训练模型和进数据挖掘的必要条件。为更好的应对规模数据带来的可扩展性挑战（章节 2.2.1），在基础撑

191、平台部分可以对数据使的各个环节进优化，常的优化向包含数据静态存储和数据流动（如络传输）。在应对可拓展性挑战的同时，提算可性。?3.4.2.13.4.2.1 存储整合与优化存储整合与优化?作为对数据平台和服务（章节 3.3）的硬件撑，对于数据存储，提供的全局数据平台能，持多种应访问协议互通（如对象、容器、HDFS 等等）适配不同存储环境，实现数据的整合和调度，结合多种存储介质（包括磁带）实现分层存储环境降低数据总体拥有成本，提升端到端的数据处理效率?79。?3.4.2.23.4.2.2 络优化络优化?为了减少规模数据运算时产的络开销，络优化成为基础撑平台层的常优化措施之?80。以 multi-n

192、ic-cni?81项为例，在持云基础设施在运期间动态变化的 96 同时，减少了维护成本，提带宽利率，通过对于应完全透明的技术实现了底层络接的最优配置。?3.4.33.4.3 基础基础撑撑平台应对算利率问题平台应对算利率问题的常措施的常措施?基础撑平台为应对在处理规模数据时，提单芯算、突破算利率、实现更能效，这领域的重要挑战（章节 2.2.1）。通常，先会实现动化硬件适配作，将计算任务和硬件调度在混合云管理平台上统调度，并在此基础上，实现优化计算任务的调度案，提能效。?3.4.3.13.4.3.1 硬件适配硬件适配?在硬件适配，通过适应的硬件驱动配置，混合云通过设备扩展框架可以对多种算设备进持。

193、在实际使中，需要考虑配置多个软件组件，如驱动持，容器权限等，是困难且容易出错的。诸如 NVIDIA?GPU?Operator?82这样的项就很好的解决了这难题。?3.4.3.23.4.3.2 任务调度优化任务调度优化?以 Multi-Cluster?App?Dispatcher（MCAD）?83和 InstaScale?84项为例，这类项实现了包括作业优先级在内的资源调度逻辑来更好的利硬件资源。通常提供作业排队、作业优先级和抢占、超时以及系统之间资源共享的编排的能，甚包括动态扩展云托管混合云集群的能?80，从实现设备利率最化。在 IBM 研究院的博客中?85，分享了通过这种式在分布式训练运中有

194、效地使 GPU 的实践。?97 3.4.43.4.4 基础基础撑撑平台平台增强机协同简化体验增强机协同简化体验的常措施的常措施?基于控制台和图形界引导在混合云平台上执成式智能相关任务，从简化的体验（章节 2.2.2），以便有效地完成包括训练、测试和监控在内的任务是项挑战?80。相对于在本地部署复杂的开发环境，同步量训练数据进训练的做法，这类简化体验的优化，显着降低了智能研究者进云原技术堆栈的槛，开源项如 CodeFlare?86就很好的解决了这问题。?98 3.53.5 成式智能成式智能的企业级应的企业级应?3.5.13.5.1 成式成式 A AI I 的五模态的五模态?根据内容产模态，成式

195、AI 能够被分为四基础模态，包括本、频、图像、视频，每种模态技术都有着独特的应场景和特点。此外，这四类模态的融合还带来第五类模态跨模态内容成模式，持创造出更为丰富多彩的成内容?87。?3.5.1.13.5.1.1 本成本成?本内容成可以致分为交互式和交互式两种。交互式本成包括摘要/标题成、本格迁移、章成、图像成本等技术。这些技术可以根据不同的使场景，动成符合要求的本内容，提本成的效率和质量。交互式本成是种更加智能化的应式，可以根据的需求和反馈，成更加贴近需求的内容，主要包括聊天机器、本交互游戏等应。?【代表性产品或模型】：JasperAI、copy.AI、ChatGPT、Bard、AI?dun

196、geon?3.5.1.23.5.1.2 频成频成?频成技术是种通过算法和模型成频的技术。频成技术可以应于特定场景下的本成语，如数字的播报、语客服等。这些场景化的应可以根据和场景的需求，通过算法成符合要求的语，提体验和效率。此外，该技术在?C?端产品中也分常，如智能家居、载响、虚拟助等。?【代表性产品或模型】：DeepMusic、WaveNet、Deep?Voice、MusicAutoBo?99 3.5.1.33.5.1.3?图像成图像成?图像成技术是种通过算法和模型成图像的技术。图像成技术可根据使场景分为图像编辑修改和图像主成。图像编辑修改技术可实现对图像的重构和修复，提图像的质量和清晰度，满

197、对图像处理的需求，如图像修复、脸替换、图像去印等。图像主成技术通过算法和模型实现对图像的主成，可以为提供更加多样化的图像服务，如参照图像成绘画图像、真实图像成素描图像、本成图像等。?【代表性产品或模型】：EditGAN，Deepfake，DALL-E、MidJourney、Stable?Diffusion，格?3.5.1.43.5.1.4 视频成视频成?视频成技术是种通过算法和模型成视频的技术。视频成技术可以根据使场景分为视频编辑和视频主成。视频编辑技术可应于视频超分辨率、视频修复、视频画剪辑等。视频主成技术的核原理是使深度学习模型对图像或视频进分析和理解，再根据特定算法成相应的视频。可应于图

198、像成视频、本成视频等。?【代表性产品或模型】：Deepfake，videoGPT，Gliacloud、Make-A-Video、Imagen?video?100 3.5.1.53.5.1.5 跨模态成跨模态成?跨模态成是指通过组合不同模态的 AI 技术，实现模态间的转换和成。跨模态成通过实现不同媒介之间的转化和成，拓展了智能应的领域和应场景，持将不同的信息形式转化为类可理解的其他形式，例如将本转化为图像、频或视频，将图像转化为本、频或视频，从实现更加然、直观、效的交互式。跨模态成技术同时也可以应于各个领域，如艺术创作、告营销、教育培训、医疗诊断等，提升AIGC 的产业化和业化应能。?【代表性产

199、品或模型】：DALL-E、MidJourney、Stable?Diffusion,?watsonx?3.5.23.5.2 业务赋能业务赋能?企业在利成式 AI 进业务赋能的过程中，需要构建基本准则，通过开放创新和柔性监管协同发展，达到有针对性地赋能。在具体实施过程中，有效的动举措为成式 AI的落地提供指引，AI 联盟的成将成为可靠的第三，为业务赋能保驾护航，同时，成式 AI 与各各业的深度融合，为业务赋能带来更多的机遇和价值。?3.5.2.13.5.2.1 构建基本准则构建基本准则?先是开放开放，企业应该积极拥抱领先的 AI 技术，并且借助开源社区、开源技术加速创新；其次是针对性针对性，如帮助

200、企业使的数据，开发针对特定场景、能快速产收益的 AI 模型（如 HR 流程动化、客服系统智能化、IT 应现代化等），同时确保符合内部规章；第三是可信可信，这不仅涉及数据的治理、模型的监管，也包括各国、各业的不同的 101 合规要求；第四是赋能赋能，企业需要个上快、可扩展的具平台，基于的数据来训练、调优、部署 AI 模型，不只是当个模型的消费者?88。?3.5.2.23.5.2.2?推动推动开放创新开放创新?在成式 AI 即将颠覆创新格局之际，当下正是组织重新评估其创新法的绝佳时机。传统创新是种封闭的内部流程，仅利组织的内部资源，在严格保密的环境中创造惊喜和竞争优势。但传统的“封闭式”创新已不能

201、满当下基于合作的态系统经济，开放创新是推动业务发展的明智决策。开放创新是种需要共同投资和携共创的态系统游戏。平均，每投 1 亿美元的创新出，组织要与约四家态系统合作伙伴开展合作。开放创新的核是基于共享数据和洞察建合作伙伴关系?89。?随着成式 AI 崭露头，改变创新式已经成为项尤为紧迫的任务。企业管们期望成式 AI 在整个创新命周期中发挥重影响，从构思、发现、评估、执到商业化，以及应于态合作和成果衡量（图?14?成式 AI 在创新命周期中的影响）。他们不仅将成式 AI 视为创新具箱中的件新利器，更坚信成式 AI 将颠覆现代化企业创新的本质?89。?图?14?成式 AI 在创新命周期中的影响?1

202、02 为什么许多企业都法充分把握开放创新的商机？简之，因为这太难了。从络安全问题、技术障碍到缺乏灵活性，多重挑战都将阻碍态合作伙伴之间的创新合作。协同内部部并消除创新中的职能孤岛已经够困难的了。再要引外部合作伙伴，并通过“合纵连横”让它们发挥能为共同标努，这难度实在令望却步。?成式 AI 可以帮助企业克服所临的些挑战。事实上，多数组织表前正在评估成式 AI 是否可作为开放创新具或正在开展相关试点，主要就是因为成式 AI 能够改善态合作。?但仅靠成式 AI 法播散开放创新的种。在技术指数级发展的时代，要将愿景转化为现实，组织必须明确可从与态合作创新中获得哪些业务价值，以及实现这标需要哪些条件。?

203、3.5.2.33.5.2.3?推进柔性监管推进柔性监管?制度的合法性对于全球创新络的险有定的解释，许多学者的研究表明组织合法性是组织发展壮的重要资源。2023 年 5，OpenAI 公司 CEO?Sam?Altman 在美国国会的智能监管听证会上表需要建个新的法和监管体系以应对 AI 的潜在险。随着成式智能服务管理办法（征求意稿）络信息内容态治理规定络数据安全管理条例（征求意稿）互联信息服务深度合成管理规定（征求意稿）等政策法规的相继出台，我国正积极开展成式智能的治理实践。?AIGC 技术的应涉及多个业，例如医疗、融、媒体等，业协会、企业和政府需要通合作，制定适应各领域需求的指导针和标准，励

204、AIGC 技术在社会中的泛应，协同推动创新。?103 3.5.2.43.5.2.4?制定动举措制定动举措?编写智能动册，持员将其作为实践。动册应是动态档，根据成功和失败经验以及 KPI 列明作清单和程原则。创建在设计中和数据中交汇点运所需的架构和团队结构?90，这是真正的变推动因素。?坚持档记录。让数据科学家参与作。必须深刻认识到，部署智能模型不是唯的标，也不意味着项的终结。为扩展智能，在模型投成环境后，仍需评估并不断改进。如果模型法重复运，则意味着不可靠，档记录是实现可重复性的重要保证。?注重道德观念。持续监控智能模型的可解释性、公平性和强健性。开发检测算法（道德“机器”），作为搜索意偏及其

205、他问题的虚拟“显微镜”。?不仅要实现规模化运，还要进规模创新。采并整合深强的然语处理能，以及符合独特例的其他前瞻性智能要素，从明显提升商业价值。整合各种内部和外部数据源，为“最新尖端”技术分配资源，采智能初创企业的思维式。?3.5.2.53.5.2.5?加加 AIAI 联盟联盟?通过与态系统合作伙伴合作，寻求帮助。考虑与其他企业开展合作，共同制定和/或影响于治理智能模型的相关标准，提透明度并增进信任。与学术机构、智库、初创企业以及其他值得信赖的第三开展合作?90。?前，IBM 和 Meta 与全球?50?多个创始成员和协作者宣布成AIAI 联盟（联盟（AI?AI?AllianceAllianc

206、e）?91，AI 联盟由来业界、初创公司、学术界、研究和政府的领先组织构成，共 104 同持智能领域的开放式创新和开放科学。以动为导向，具有明确的国际性，旨在通过泛多样性的组织在各个领域和地区创造机会，从在塑造智能发展的过程中，能够更好地反映社会的需求与复杂性。更多信息参阅?92。?AI 联盟致于培育个开放的社区，使开发员和研究员能够加速智能领域负责任的创新，同时确保科学的严谨性、信任、安全、保障、多样性和经济竞争。通过汇聚顶尖的开发员、科学家、学术机构、公司和其他创新者，我们将聚合资源与知识来解决安全问题，同时提供个平台，共享和开发符合世界各地研究员、开发员和采者需求的解决案。?随着模型技术

207、的突破，新轮智能浪潮正在引领各各业快速发展。数据作为此轮变的主要驱动，已成为智能发展的关键战略要素。但国内智能业正在临质量训练数据供给不、训练数据治理平不、数据供需流通机制不畅等挑战，制约了我国成式智能创新发展。?为破解 AI 数据短缺难题，中国智能产业发展联盟（AIIA）成“数据委员会”。AIIA 数据委员会拟定 2023 年 10 中旬举办成仪式，成后将与智能关键技术和应评测信部重点实验室、中国通信标准化协会数据技术标准推进委员会（CCSA?TC601）等组织加强协同，共同推动产业研究、标准研制、技术应等相关作?93。?3.5.2.63.5.2.6 关注业机遇关注业机遇?随着成式 AI 与

208、各各业深度融合，其赋能重构的业将会持续增加。根据罗兰格的评估分析，成式智能将率先对互联与科技、融和专业服务等知识密集型业带来较影响，分别带来?6.5%、6.8%、11.3%的成本下降；其次将赋能教育、通信、105 医疗、公共服务、零售、娱和传媒等服务型业；对当前数字化程度不的农业、材料、建筑业、能源等传统业影响相对较。总的来看，成式智能的价值发挥需要坚实的信息化、数字化撑，有望在相关业的研发设计、产制造、运营管理创造巨价值。?成式智能深赋能数字经济，为各业领域带来新轮发展机遇。伴随着成式智能影响规模的不断扩，赋能各各业实现数字化变与发展。融业领域，成式智能能够帮助绘制融险图，协助打击洗钱等融犯

209、罪。汽业领域，成式智能能够提载智能语交互效率，还能为动驾驶模型训练提供质量合成数据，帮助解决动驾驶系统开发过程中的数据和测试难题。更进步，多模态成模型正有望加速推动“多模态感知到决策规划”的端到端动驾驶落地应。传媒业领域，成式智能可以根据本提成字、图、频、视频等，为告配上引胜的视觉内容。制造业领域，成式智能可以应于机器视觉、数位分和主导航系统等，实现产线和仓储物流等环节的化和智能化。农业领域，成式智能可以通过遥感模型测量农作物的势情况，监测作物病害，预测农作物产量。成式智能的进步性价值将持续推动各业领域质量变、效率变、动变，推动经济质量发展。?3.5.33.5.3 研究开发和设计研究开发和设计

210、?成式智能在各个领域泛应，前在研究开发和设计环节有很多业务场景，为复杂产品的研发以及相关设计职能带来极的效率提升。成式智能通过代码、图 106 像动成能，可以提供基础性、重复性的初步设计，提升设计产效率，缩短研发设计周期。?3.5.3.13.5.3.1 提升研究开发效率提升研究开发效率?智能在研发领域的应范围常泛。例如，在药物研发领域，利智能具提候选药物质量、优化临床试验设计、降低临床试验成本和时间。前些企业利模型赋能药企新药研发，通过与跨学科研究团队合作，推动医疗领域 AI 的可解释性。?3.5.3.23.5.3.2?提升代码开发效率提升代码开发效率?智能编码助可以提升产效率。旨在提升编码效

211、率、减少错误，简化测试例的编写过程，以及提升软件开发过程的效率和可靠性。例如，根据提供的然语描述或注释，动成相应的代码段，从提升编码效率，减少因动编写代码产的错误。根据选定的代码段，动成相应的单元测试例，节省开发员编写测试例的时间，确保测试覆盖全，提升代码质量?94。?3.5.43.5.4 供应制造和交付供应制造和交付?在供应链中规划成式 AI，需要对数据、AI 和动化有整体的认识，增强供应链的运营模式，打造智能化的作流。?107 3.5.4.13.5.4.1?提升数据可视化提升数据可视化?在益注重可持续发展的世界中，客期望供应链提供从第公到最后公的完全透明度。如果能够引对数据和 AI 管道的

212、良好治理，智能作流可以让这种可性成为可能。?但可数据并不总是等同于可消费的数据。这就催了对数据可视化的需求实际上就是将数据转换为易于理解的格式并进传递。与 AI 和分析相结合，数据可视化有助于模拟决策影响、预测运营挑战、对前瞻性的新战略进建模，以及在没有可历史数据的情况下对选项进评估，尤其是应对些前所未有的情形。可视化和模拟已成为最管理层的关注点超过半（52%）的受访管希望这些模型能够提预测性运营的透明度和可性?95。?3.5.4.23.5.4.2?实现供应链动化实现供应链动化?随着实时数据推动提模拟效率和预测分析的准确性，企业可以更轻松地制定未来规划。CEO 正在迅速投资发展成式 AI，以实

213、现供应链的动化和简化。事实上，89%的受访管表，动化领域的关键投资将包括成式 AI。且，19%的受访管表成式AI 对于其供应链动化的未来关重要?96。?数据、AI 和动化是相互依赖的。可以说，没有数据就没有 AI。AI 则是动化的基础。正是因此，66%的受访者表，如果没有整合于体的数据和 AI 战略，其组织的数字化转型计划就法成功?97。?通常，这种整体思维需要超越企业本。为了提透明度和可性，越来越多的企业管开始将智能作流与其态系统合作伙伴整合在起。事实上，53%的受访管预计 108 新兴技术将能够通过这些态系统和络数字连接来提透明度和可性。与现在相，超过两倍的受访管预计，到 2026 年，扩

214、展态系统合作伙伴的作流将通过智能动化实现数字化。?3.5.4.33.5.4.3?增强供应链运营模式增强供应链运营模式?创建学习的模拟系统，以便积极识别、可视化并主动纠正关键运营异常。实现事务作度动化，从提运营效率?96。?先，要抢占先机。预测并拥抱颠覆。部署分析、数据可视化和仿真模型，以及于模式识别的成式 AI 功能。在竞争激烈的形势下，冷静坚决地采取动，确保供应链正常运转。?其次，将业务关键型接触点置于要位置和中位置。将最关键且最具差异化优势地供应链作流与早期地预测性成式 AI 例进协同整合。引关键合作伙伴，通过协作加强预测能。确保成式 AI 驱动地件可清晰识别且可审计。?此外，衡量预先建模

215、地积极影响。定期评估成式 AI 驱动式预测分析地绩效和投资回报率。设定明确地标，确保这些作能达到预期成效，并根据需要进调整以实现持续改进。?3.5.4.43.5.4.4 打造智能化作流打造智能化作流?企业需要开发敏捷的智能化作流程以快速应对益严峻的形势。?先，在各种计算环境中组装数据以配置作流，从持智能和度动化。增强智能，打造更加智能化的作流。?109 其次，管理 API 以在应之间共享第三数据源。API 管理可在需要的时间将数据移所需位置。?再次，建事件驱动的架构，以便在检测到特定情形时可动由数据触发作流。?3.5.53.5.5 市场战略和推市场战略和推?期以来，企业直拥有打造度个性化体验所

216、需的数据。但这些数据存储在多个部的不同数据集中，营销团队直到现在仍然缺乏整合和利这些数据的能。成式 AI推动了度个性化内容创建和实时数据分析，从为营销团队提供实现个性化客沟通所需的动。?3.5.5.13.5.5.1?引领营销团队引领营销团队?超过四分之（27%）的受访管预计，在采成式 AI 之后，营销将实现动化。尽管这对营销专业来说听起来很可怕，但全球型告组织 WPP 的席执官Mark?Read 指出，这其中蕴藏着巨的机遇?98。?为了充分发挥其价值，成式 AI 模型需要访问从营销、销售到服务的整个互动链的客数据。这意味着，营销团队临着巨的增机会，但也需要拓宽数据隐私与治理视野，以管理品牌险并

217、维持客信任。然，只有 24%的受访 CMO 表其营销部分正在与销售部和客服务部合作实施成式 AI。?重新思考营销运营模式，实现更有效的机偕关系，让类专注于更价值的作。增强创造、创新、战略思维、决策、产品定位和营销能可帮助营销团队提升技能并加速学习曲线。当营销团队取得进展之后，CEO 就可以将从中学习到的知识和经验提炼成路线图，以帮助其他智能部在整个企业中更有效地整合这项技术。?110 3.5.5.23.5.5.2?专注营销内容专注营销内容?将营销材料与客旅程中的接触点和关键时刻联系起来，打造更加优质的营销材料。简化内容创作流程，让类专注于更具价值的作，从提产?98。?告别写作困境。向团队展成式

218、 AI 如何加速内容制作过程。利基于您组织的数据定制化语模型来协助构思主题、标题、社交帖以及适合不同受众的消息变体。通过三重检查消除成式 AI 或类创作的任何内容中的偏。?弥合营销内容与客需求之间的差距。确定在哪些环节需要内容来推动期望的客为和结果，并利成式智能制作能够缓解客旅程中特定痛点的作品。?发现主动适应未来作的才。密切关注线员，探索成式 AI 所创造的新。那些从开始就接受成式 AI?的才将获得洞、领先的实践和经验教训，这有助于定义未来的 MarOps 模型。?3.5.5.33.5.5.3?实现度个性化实现度个性化?每位客都是独的，但在传统的营销仪表盘中，这些个性化数据会被淹没在聚合数据

219、的海洋中。建个关联所需的细节信息都被淹没了?98。?成式?AI?可以将复杂的客偏好与为整合为营销员所需的切实可的洞察。通过更加迅速、动态地分析来各种来源的客数据，营销团队可以了解哪种案最适合特定客，并相应地调整外联作。从个性化内容和体验到定制化聊天机器持，成式?AI?可以帮助团队实时满客需求。?潜在应的清单不断增，CMO 应当专注于建强的分析能基础，以帮助他们跟上变的步伐。例如，78%的受访 CMO 预计到 2024 年底将使成式 AI 进数据分析 111 并从数字?/?社交渠道中获取洞察，前这例为 36%。86%的受访 CMO 表预计到2025 年将使成式 AI 来分析客洞察。?统的数据将在

220、度个性化营销中发挥关键作。为 CMO 赋予对所有接触点（包括销售和服务）的营销技术体系的主权。建多学科营销和 IT 团队。协同 CMO 与 CIO 的优先事项，激励两者建合作伙伴关系。利成式 AI 建真正对营销所需的基础架构、系统和数据集成。?全了解客的需求。消除职能孤岛，整合来营销、销售和客服务的数据，建客在贵公司业务中的完整个体旅程全貌。?利客数据增强开放模型。将您的客数据打造为最强的品牌差异化因素并防范错误信息。同时，利开放和公共模型的速度和可扩展性优势来打造个性化体验与产品，并持续保护敏感数据。?3.5.63.5.6 客互动和销售客互动和销售?成式 AI 打造的度个性化体验有望彻底变企

221、业与客及员之间的交互式。利来销售、营销和服务智能的真实 360 度客数据，成式 AI 可以打造定制化体验，并确定“下步最佳动”，从帮助企业吸引特定客。?3.5.6.13.5.6.1 重新设计客体验重新设计客体验?先，让同理成为客体验的指导设计原则。根据客的关切点来开发成式 AI 伦理，赢得客信任，同时要求态系统合作伙伴也遵守相同的标准。其次，通过为客提供值得信赖的体验，从获得数据回报。持续迭代以改进和个性化产品与服务，从实现增和更的投资回报率，将数据来源转化为数据财富。最后，从客次接触品牌开 112 始，将成式 AI 融客体验中。通过成式 AI 推动个性化营销活动、定向告和直接客外联，并励持续

222、客反馈?99。这种销售数字体验，将在各各业的企业中被重新定义，个性化定制将成为项标杆，仅仅提供定制化的互动体验式不够的，还要求体验必须是直观的，能够在提出要求之前就满他们的需求。?因此，成式 AI 有望提这些期望，并为企业提供满这些期望的必要具。事实上，全球受访管预计成式 AI 将成为未来颠覆其组织的体验设计式的要趋势。?3.5.6.23.5.6.2 快速分析客数据快速分析客数据?融服务公司可以使成式 AI 来快速分析其客数据，以及来社交来源和合作伙伴组织的数据，以确定哪些客最有可能采取各种动，从开设新的票账、投资资产到申请贷款等。然后，成式 AI 可以帮助该融服务企业的管通过个性化策略和动化

223、、即时定制的优惠（翻译成客的选语）实现真正的对营销。?3.5.6.33.5.6.3 简化在线搜索简化在线搜索?在线零售商可以使成式 AI 来简化其搜索功能。顾客可以然语（打字或语）描述想要的产品，指定关键细节（例如颜、尺或材料），不必使类别和过滤器。他们甚可以包括预算和期望的交货期，以进步细化搜索结果。在这种情况下，顾客不仅可以轻松获得所需的产品，还可为零售商提供有价值的数据，以便于指导未来的业务决策。?113 3.5.6.43.5.6.4 提升客服务提升客服务?在客服务领域试点成式 AI 有助于加速企业范围内的成功部署。在疫情封锁期间，们清楚看到了客服务可以实现的动化平，但同时缺乏际接触也带

224、来了定的损失。借助成式 AI，组织可以充分结合动化与性化的优势。通过将两者相结合，客服务将成为个概念验证项，能够向企业的其他部展新技术具如何提员满意度、影响客参与度以及推动创造回报。利成式 AI 改善动回应的质量和对话能，可以快速演如何利 AI 的影响来升级组织内部其他领域的服务。对于多数组织来说，需求和机会都是阔的。例如，多数企业表缺乏审查和重新训练客服务机器的能，只有半的企业能够在问题出现时主动提醒客?99。?3.5.73.5.7 业应案例分享业应案例分享?随着成式 AI 技术的到来，企业对 AI 的应开启了个新的篇章，也将迎来新的“时代”。尽管“让 AI 成为核产”已成为企业益迫切的需求

225、，但实际的落地应却之功。对各不相同的应场景和复杂需求，企业管理者们也产了诸多的困惑。这分别分享个落地的企业专模型问答系统以及汽、融两业领域在成式 AI 的成功经验。?3.5.7.13.5.7.1 企业专模型问答系统程化落地企业专模型问答系统程化落地?通模型对于专领域的回答准确率通常低，需要构造企业专模型来满准确率的要求。企业专模型程化落地主要包含下个阶段（详下图?15?模型解决案）：?114?图?15?模型解决案?选取合适的模型。通模型使了公开的数据集，通知识，针对专有领域的准确度低，且通模型预训练要花费量的算成本，对于企业，需要整合考量模型规模和资源消耗，选择合适的模型不是味追求规模的模型。

226、?训练专模型。通常要构建企业的专有模型，企业需要提供质量的内部数据集，对模型进训练。这个阶段需要关注数据的质量，数据的治理，建专有的企业知识库，对专有模型进微调，知识扩充（可以外接知识库来做增强）。?专模型反馈阶段。通过给模型问答提与引导应模型，对模型给出的回答进打分，排序，进步优化模型，不断更新知识库，随着知识的累积，继续优化模型。?专模型的部署。在整个过程需要个整体平台覆盖模型训练，服务服务应，模型部署等，需要对模型的命周期进管理，并且要求平台稳定，安全，可扩展。?在整个程化落地的过程既需要科研能，模型能，数据管理能，还需要企业级服务能。既需要对专业领域常了解的专家，产品技术专家，数据科学

227、家，算法程师，架构师等等，可以依托 IBM 研发实验室进共创。在训练数据部分要提供数据管理和 115 治理能，模型训练过程中的快速建模，持续优化和监督能。在平台部署要持模型的部署，有算和其他硬件资源的持，平台要有动态资源伸缩能，保持时间训练的稳定性。?前专模型应中个较典型的案例就是专有智能问答，常的智能问答系统架构可以参考下图，前端可以问答交互系统（如 watsonx?Assistant）持然语输，并可以在头定制些问答流程。企业内部的领域知识通过 embedding 模型存储在向量数据库中（如 watsonx.data）作为提程的知识服务。当问答系统把客问答，以及上下发给问答路由，到知识库做相

228、似度搜索，把搜索结果作为提，提给基础模型（可以部署在 watsonx.ai?上开源模型或有模型）最终把结果反馈给问答系统。?图?16?智能问答架构图?3.5.7.23.5.7.2 汽领域汽领域?随着电动汽、动驾驶和先进安全功能等尖端技术的引，催了对更复杂、更智能的系统的需求，汽业发了重变化。在推动这些变的具中，成式 AI 脱颖 116 出，成为重塑汽业的股迅速崛起的量。事实上，成式 AI 已经对汽企业产了明显的影响，可以在业务开发、产管理、财务管理、业务管理、供应链、市场销售、服务售后等多个发挥积极作。具体案例可参章节 6.1。?图?17?汽业在成式 AI 中的应?3.5.7.33.5.7.3

229、 融领域融领域?融业在使成式 AI 的时候，可以在业务开发与管理、渠道管理、客互动、产管理、运营持、财务险管理以及资源管理各得到很好的应。具体案例可参章节 6.1。?图?18?融业在成式 AI 中的应?117 四四?成式智能治理成式智能治理?4.14.1 成式智能治理框架成式智能治理框架?图?19?成式智能治理框架?本框架的核在于打造可信赖的 AI 系统，向 AI 全命周期的全时段，贯穿技术栈的全位治理，围绕着五个关键特征，即可解释性、公平性、透明性、健壮性和隐私性展开?100。?可解释性：AI 系统模型做出决策或预测的依据，这些解释应该可供具有专业知识和能的和公众所理解。在技术上可以通过知识

230、程，AIX360，数据地图，数据标准，元数据管理等式提模型和数据的可解释性。?透明性：AI 系统的相关数据（包括原始数据和使过程中产的元数据）应作为信息披露的内容，如出现在产品说明中或供审计使。在技术上可以通过知识程，模型命周期，模型可视化，数据命周期，数据地图，平台的可观测性等实现 AI 系统的透明性。?118 公平性：AI 系统应确保决策过程和结果不歧视任何个或群体，其表现应与统计学规律以及业务内容相吻合，对所有均公平公正。例如，贷款审批模型对信不良的产的“偏”是合理的。在技术上可以通过偏预防与检测，数据质量管控等来提 AI 系统的公平性。?健壮性：AI 系统应对外界变化和潜在的攻击有抵抗

231、，能够稳定地运，有效处理异常情况和蓄意的对抗攻击，降低安全险。在技术上可以通过对抗攻击的检测与预防，数据质量管控，平台级的能源规划等来保障 AI 系统的健壮性。?隐私性：系统必须保护个隐私，确保数据的收集、处理和存储安全，且遵循相关的隐私保护法律法规。在技术上可以通过联邦学习，多安全计算，匿名化，差异隐私，数据脱敏，数据安全等技术来保障 AI 系统的隐私性。?基于这五个特征，本章节将会讨论如何将治理与 AI 全命周期相结合，介绍在不同技术层的相关技术段和具，通过引对应的评估技术和系列量化指标矩阵，从确保在企业引成式智能的全命周期内满这些标准，帮助企业实现和维护标准的治理平。?4.24.2 融融

232、 AIAI 全命周期全命周期?Al 的治理不是次性的任务，是贯穿 AI 从引、开发、部署到维护全过程的持续活动。这要求企业在 AI 系统的每个领域都实施相应的治理措施，以缓解企业在与 AI 系统协作时可能引起的险，确保?AI 系统遵守所有相关法律和业标准，保证 AI 系统的稳定性和可靠性，将 AI 战略与企业的业务标对。以 IBM 的 Ethics?by?Design?and?the?AI?Lifecycle?101和相关章?102为例，通常将治理融 AI 命周期包括以下步骤：?119?图?20?将治理融 AI 全命周期?整体规划：设计 AI 治理的总体规划，分配治理职责，将治理和业务指标相统

233、，建评估式以及采纳或建必要指标体系，段。此阶段通常明确以下问题：?企业成式智能业务需要遵守哪些法律法规？?企业成式智能业务所涉及的数据需要遵守哪些隐私保护要求？?数据收集：获取训练数据，对数据进探索性分析，创建相关数据和索引，数据脱敏，元数据管理，数据清洗，数据质量分析等。此阶段可以帮助识别明显数据的错误，有助于理解数据中的模式，检测异常值或异常事件，并找到数据之间的关系。需要注意的是，此过程需要遵循隐私数据保护相关的法律法规要求，如数据中涉及个份信息的部分需考虑匿名化处理。?训练测试：在此阶段团队将数据训练为模型，并对模型进涵盖治理相关内容的测试，评估。MLOps 流线的式可以有助于将此过程

234、动化提效率。以公平性治理为例，在模型构建作开始前，可以进数据偏差相关检验。相类似的，稳健性，可解释性治理等相关特性的检测作也可以在此阶段完成。?验证部署：在模型正式部署到产环境之前，需要验证其质量，验证其公平性、透明度、可解释性、稳健性和隐私性并成相关报告，团队必须考虑是否适于任何 120 监管或监管要求。包括但不限于发布情况说明书、偏结果、隐私声明或发布法律声明。如果模型通过验证，则将其部署到产环境。?监控管理：基于在产环境上收集到的相关指标数据，评估产环境上模型的质量，公平性、透明度、可解释性、稳健性和隐私性等功能和功能指标，如记录模型偏移情况。根据收集数据进分析，如果监测到相关指标出现异

235、常，采取对应动，包括但不限于告警，纠正，重新训练模型等等。通过持续的优化为以保证模型可信。?4.34.3 成式智能模型成式智能模型治治理理技术技术?4.3.14.3.1 模型可解释模型可解释?正如智能如何向新阶段中提到的，当前需要打破 AI 的盒状态?103。现阶段，个可解释模型/算法来解释 AI 模型是种尝试打破 AI 盒状态的段。AI?Explainability?360 项?104构建了基于不同业务场景，范围（全局可解释，局部可解释），对象（数据，模型），数据格式（本，视频）度进可解释算法选择的决策树?105。遗憾的是，前这棵决策树上仍存在空，这和业界对于如何打破 AI 的盒还处于起步阶

236、段的状态致，前可以分为以下类别：?数据可解释：我们可以通过各种算法如（DIP-VAE，ProtoDash 等），来加强们对于特征值或样本数据的理解。?模型可解释：?121 模型全局直接可解释：对于了解整个决策过程并保证其安全，可靠合规常重要。通常可以来处理决策树，布尔规则和义线性回归等模型。?模型训练后全局直接可解释：通过后建个解释模型的式，在盒模型训练之后解释盒模型，以 ProtoDash 算法为例，可以更好的帮助们建盒模型决策结果和原始数据之间的联系，为本次模型决策的结果找到历史数据中的参考。?模型局部可解释：此类算法更多的侧重于对某条具体数据的解释。如找到某条数据未能通过审核的依据。以

237、CEM 算法为例，此类算法更多的展现了某个样本的特征值对决策过程的影响。可以于模型样本局部可解释或模型特征值局部可解释。?4.3.24.3.2 知识程知识程?参考章节 3.2.5，通过知识程可以部分打开模型的盒，语模型存在着局限性，例如幻觉问题，知识新鲜度问题，以及数据安全问题。为了解决这些问题，RAG（Retrieval?Augmented?Generation）检索增强成技术成为很多企业的选，通过这种架构，模型可以从外部知识库搜寻相关信息，然后使这些信息来成回应。具体的做法是把私域知识档进切然后向量化后存储在向量数据库中，然后通过向量检索的式找到最近似的结果，再将其作为上下输到语模型进归纳

238、总结。知识图谱，图数据库等技术也可以很好的反应实体和数据的关系，来作为输出的依据，提可解释性。?122 4.3.34.3.3 模型可视化模型可视化?对于训练结果，模型可视化可以增强（机器学习）模型的透明性，由于（机器学习）模型常常被视为“盒”，内部的作机制对于最终不透明，这增加了在实际应中建对这些模型信任的难度。因此通过可视化段增强模型的信任度，可视化可以揭模型如何从输到输出的具体处理过程，包括原始数据的质量和来源，数据的标注与特征程，学习法和算法，模型训练，以及模型的评估等，这种透明性帮助理解模型是如何作的，通过不同阶段的透明性增加对模型的信任?106。?4.3.44.3.4 防范对抗攻击险

239、防范对抗攻击险?模型的健壮性，主要体现在模型防范对抗攻击的能，对抗攻击经常发在模型分类的边界处，基于对抗攻击的原理，已知对数据和模型存在规避，投毒，推理和反演，模型提取等在内的多种安全威胁。通常，对于对抗攻击，我们要建指标和验证机制来将专业领域的知识转化落地成为对于对抗攻击的预防机制。在 Adversarial?Robustness?360 项中收纳对抗攻击类型的列表、指标、验证标准等相关信息并对防御机制进了开源技术实现?107。对抗攻击的预防可以根据采取措施的阶段致分为预处理防御、后处理防御、训练防御、转换器防御式。?4.3.54.3.5 模型公平模型公平?公平性算法，可以根据其在命周期中的

240、位置分为预处理，过程预，后处理三类，每个类涵盖了不同算法的实现。般，预处理类型作于原始数据，过程 123 预作于训练过程，后处理基于盒模型且法修改数据或学习算法的情况，在不同位置对公平性进处理有各的优势和不?108。?预处理算法：这类法可以通过调整样本权重的式成个新的数据集来同时解决群体公平和个体公平问题，但需要注意的是，由于偏存在的式可能会较复杂，因此可能会影响转化后的数据集的质量和公平性。?处理中算法：通过在训练过程中添加正则化感知等技术来影响训练算法中的损失函数从处理偏。?后处理算法：对于只能访问盒模型的情况，只能采后处理算法。并且可以避免对模型的次训练，在实际过程中，需要考虑这类算法对

241、模型结果准确性的影响。?4.3.64.3.6 隐私隐私保护保护技术技术?从数据隐私的度，我们看到了多种实现式，如基于密码学同态加密，联邦学习，差异隐私，或数据匿名化与模型匿名化等段。基于不同的密码学技术的能和段在 AI命周期的不同环节在进数据隐私保护处理的同时完成了模型训练等任务。在实际使中可以参考 AI?Privacy?360 项中建的据隐私安全评估流程，和具选择流程图。我们需要结合数据隐私保护的实际情况，找到合适的式实现对于模型和数据隐私保护?109。?差异隐私：通过数学能如随机噪声来保护个隐私的同时保持数据的统计的准确性。但考虑到不同实现上的区别，有些实现式可能很难与其他维度的算法同时效

242、。?匿名化：通过创建于模型的定制匿名化案，在使训练数据训练模型之前对数据进匿名化的式来提模型的隐私能，但是这过程中选择的标识符可能会影响到模型的识别能。?124 同态加密：基于同态加密对密的运算能，通过对加密数据实施不同的分析和模型解决案。?联邦学习/多安全计算：各通过协作训练模型的式减少数据贡献和交互，增强了数据的隐私性。通常，该法也会和其他法如差分隐私，同态加密，多安全计算相互结合。?4.3.74.3.7 模型漂移模型漂移?模型漂移?110是指由于数据变化或输和输出变量之间关系的变化导致模型性能下降。模型漂移会显著影响模型质量，随着时间的推移和漂移的积累，原本偏的模型可能会产偏。如果构建模

243、型使历史的数据和现业务数据存在过偏差，历史数据的模型可能法正确对现业务数据进预测或判断，此时可解释性技术也法效。以下是漂移的典型情况：?元数据漂移?-?Metadata?Drift?当数据的元数据发变化时，会发这种漂移。元数据包含有关数据的上下信息，如数据的架构、标准或类型定义。元数据的变化可能包括值范围的改变、新类别的引或数据格式的变更，这些都可能影响模型的表现。应该持续监控和探查模型的输和输出数据在这些层的漂移，并定期评估模型表现是否随之发变化。?上下漂移?-?Context?Drift?收集数据的条件或它适的环境也可能发变化。即使数据本没有变化，周围环境或适场景的变化也可能使基于该数据的

244、模型准确性降低。例如由于外部因素，市场条件或为的变化可能导致上下漂移。?125 置信度漂移?-?Confidence?Drift?这种漂移涉及模型随时间对其预测的置信度的变化。这可能是由于输数据的变化或模型已学习的变量之间关系的变化。当模型的性能指标（如准确性或精确度）开始下降时，通常可以检测到置信度漂移。?数据分布漂移?-?Distribution?Drift?指输数据的统计属性随时间发变化。这种变化可以显著影响模型的性能，因为模型训练时的假设不再适。例如，输特征的均值或差的变化或分类问题中类别例的变化都是分布漂移的指标。?4.44.4 成式智能模型成式智能模型治治理具理具?4.4.14.4

245、.1 开源项开源项实现实现参考参考?4.4.1.14.4.1.1 模型可解释性模型可解释性?-?AIX360AIX360?AI?Explainability?360?111具包通过多种法和算法持 AI 模型的可解释性。它包括直接可解释法和事后解释法以及相关评估指标，这些法可以是局部的也可以是全局的。这些具适于不同的，从监管者到最终，为决策和合规提供适当的解释。此具包为险应设计，强调模型的透明性、可解释性以及消费者对 AI 决策的理解。它还提供了丰富的教程和资源，帮助开发者实施和理解这些法。?126 4.4.1.24.4.1.2 模型公平性模型公平性?-?AIF360AIF360?AI?Fair

246、ness?360（AIF360）?108提供了套综合具，于识别和缓解机器学习模型中的偏。这包括各种数据和模型的公平性度量法，以及于减少数据集和模型偏的算法。AIF360?持对训练数据和模型进公平性评估，并提供预处理、过程中处理和后处理的偏缓解策略。具集还包括教程和例，帮助开发者理解和应这些法。相关案例可参智能安全标准化书（2019 版）附录 B.5?IBM?智能安全实践?112。?4.4.1.34.4.1.3 模型健壮性模型健壮性?-?Adversarial?Robustness?ToolboxAdversarial?Robustness?Toolbox?AI 对抗健壮性具包（ART）?107

247、提供了套全的具和法，于增强机器学习模型抵抗对抗攻击的能。ART 持针对各种机器学习框架和任务类型的攻击法，包括欺骗、数据投毒、模型提取和推断攻击。它不仅包括各种攻击技术，还提供了防御机制，如预处理、后处理、训练期间的防御和检测技术，以及对抗训练法。此外，ART 也提供了系列开发者教程，帮助开发者更好地了解和使这些具。?4.4.1.44.4.1.4 AIAI 模型全命周期管理模型全命周期管理?-?AI?FactsheetAI?Factsheets s?AI 模型全命周期管理涉及从设计、开发到部署和维护阶段的全位管理内容。所以需要个系统以结构化的式收集、记录和报告这些 AI 模型的关键信息和元数据

248、。这些信息包括但不限于模型的训练意图、业务标签、训练数据、模型版本、性能指标、公平性和健壮性评估结果等，以帮助开发者、和监管者全理解模型的为和限制。AI?Factsheets?113项旨在实现这些标，增加 AI 模型的透明性，提升对 AI 系统的信 127 任，并应对法规和监管要求。同时 AI?Factsheets 也有助于在整个开发和部署过程中实现更好的决策和监控。?4.4.1.54.4.1.5 模型模型开源项开源项?-?InstructLabInstructLab?模型开源和开放通常围绕训练数据和训练过程，对于训练数据和过程，以InstructLab 项?114为例，在实现模型通过 Hug

249、ging?Face 平台开源共享的同时，公开模型训练所使的数据集合。其背后通过 Large-Scale?Alignment?for?ChatBots?115技术，实现了模型训练所使数据的公开透明。该项基于 Apache 许可证发布的策略也允许使者根据私有数据调整的模型，具备良好的商业兼容性。IBM 在博客中?116分享了通过对这项技术的应所取得的成果：?通过 IBM?watsonx 和该技术显著改进了 Granite 模型。?有效提了模型可解释性。?缓解了 GPT-4?等专有?LLM?成合成数据的合法性险。?出的对数据可以为更、更具成本效益的模型带来级功能，以根据企业需求进定制。?4.4.1.

250、64.4.1.6 模模型评估型评估?HuggingHugging?F Face?ace?EvaluateEvaluate?Hugging?Face?Evaluate?117旨在为不同领域的机器学习和深度学习模型（如然语处理、计算机视觉、强化学习等）提供简单致的评估式和评估指标。它允许通过代码在本地或分布式训练任务中评估模型，确保评估过程的致性和可复制性。?Hugging?Face?Evaluate 库持泛的评估指标，覆盖了多个机器学习和深度学习领域。128 这些指标包括但不限于本成的准确性（如精确匹配）、分类任务的混淆矩阵、语模型的困惑度（perplexity），以及然语处理任务的 ROUGE

251、 和 BLEU 分数等。?4.4.24.4.2 基于开源的商业产品基于开源的商业产品实现实现?watsonxwatsonx.?governancegovernance?以 IBM?watsonx.?governance平台为例，该平台集成了 IBM 现有的些产品能以及开源实现，如 AI?Factsheets，除上介绍的部分开源技术和具之外，还包括以下部分：?4.4.2.14.4.2.1 AIAI 模型监控和评估模型监控和评估?-?IBM?IBM?Watson?Watson?OpenOpenS Scale?cale?AI 治理的核任务是确保智能系统的开发、部署和使过程中的透明度、安全性、公平性等

252、，以实现可信 AI。这需要对 AI 模型的训练和部署后的表现进持续的监控，并基于可信 AI 各维度的指标对数据和模型进持续评估。附录?将会详细介绍这些指标。IBM?Watson?OpenScale?118产品提供了传统 AI 模型和 LLM 的可信 AI 监控和评估能。?通过抓取模型在线调的交易数据，实时评估模型的质量、数据和模型的漂移、各个特征和特征组的公平性和可解释性，以此帮助持续提升 AI 模型的可信度。?4.4.2.24.4.2.2 AIAI 模型险管理模型险管理?-?IBM?OpenIBM?OpenP Pagesages?AI 模型治理的另重要维度是 AI 模型的险管理。其重点在检查

253、和报告模型的运是否符合业标准和法规要求。IBM?OpenPages?119产品可以帮助映射政策、度量和模型多个监管要求，如欧洲 AI 法案，GDPR 等，并持跨法规的模型险评估。同时提供流程引擎和预警策略，满险事件的快速响应和审计需要。?129 4.54.5 成式智能成式智能数据治理数据治理?数据治理主要包括主数据管理，元数据管理，数据质量，数据标准，数据安全与隐私保护，数据地图和数据命周期等核功能。数据治理在数据全命周期中发挥着重要的作，经过治理后的数据提供给消费者，才能最化数据产价值。详图?21?数据治理功能图。?图?21?数据治理功能图?4.5.14.5.1 主数据管理主数据管理?201

254、8 年中国信通院牵头编写的主数据管理实践书（1.0 版）?120，主数据的定义如下：“指满跨部业务协同需要的、反映核业务实体状态属性的组织机构的基础信息。”?从定义中可以看出主数据是企业中跨部共享的核业务数据，通过主数据管理，保证主数据的共享性、稳定性和可持续扩展性，解决企业在不同系统中存在的数据孤岛问题，降低沟通成本，提升跨部协作能。?实现主数据管理标主要包括以下点?121：?130 建组织机构。主数据的管理不仅仅是个技术问题，由于主数据涉及的业务部，业务流程繁多，主数据的管理需要各部达成共识，共同推进，建组织机构可以有效的推进主数据管理的执过程。同时实现主数据管理往往需要得到层领导的够重视

255、和授权。?制定主数据管理标准。只有建统的标准化数据模型，才能实现跨部，跨业务流程的数据集成和共享。建完善的主数据实施框架。主要包括系统现状的分析与评估，明确主数据实现标，指定主数据实施案等。?4.5.24.5.2 元数据管理元数据管理?元数据，或称为“数据的数据”，是来描述数据的信息，它提供了对数据的详细描述，使得数据的理解、使和管理变得更加效。元数据不仅记录了数据的基本信息，如数据的来源、格式和质量等，还包括了数据的结构、规则和约束等更深层次的信息。与元数据相对的是数据本，即元数据所描述的对象，它可以是本、图像、视频等任何形式的内容?122。?数据和元数据之间的关系可以类于图书和图书录之间的

256、关系。就像图书录通过记录图书的标题、作者、出版社等信息来帮助们找到和了解图书样，元数据通过记录数据的相关信息来帮助找到、理解和有效使数据。?元数据有很多分类式，种被泛接受的分类是：业务元数据，技术元数据和操作元数据。?131 业务元数据：业务元数据主要描述了数据在业务过程中的含义和途，它关注数据如何持业务活动。例如，业务元数据可以解释个数据字段表的是客的姓名还是客的账号，帮助业务员理解数据的业务含义。?技术元数据：技术元数据关注的是数据的技术层的描述，包括数据的结构、格式、存储位置等信息。它主要被数据程师和 IT 专业员使，以持数据的集成、管理和维护作。例如，技术元数据可以描述个数据库表的结构

257、，包括表中的字段名、字段类型和约束等。?操作元数据：操作元数据记录了数据的操作历史和状态信息，如数据的创建时间、最后更新时间、访问记录等。它对于监控数据的质量、审计和遵从性管理常重要。操作元数据使得组织能够追踪数据的命周期，确保数据的准确性和可靠性。?元数据存储库是于存储和管理元数据的系统。它不仅存储元数据本，还持元数据的搜索、查询、更新和维护等功能。通过元数据存储库，组织可以有效地管理其数据资产的元数据，提数据的可发现性和可性。?元数据管理的核是要对元数据进规划、控制和监督的过程，以确保元数据的质量和有效性。个有效的元数据管理策略可以帮助组织实现更好的数据治理，提数据的致性、透明度和可信度。

258、元数据管理通常包括元数据的收集、存储、维护、共享和使等。?4.5.34.5.3 数据质量数据质量?数据质量在智能实施中关重要的原因有很多，错误倾斜的数据会影响模型的结果。并不是所有的数据都是平等，有些数据在整个模型训练中占据更重要的地位，有些数 132 据更多的是辅助和补充，含量并不。所以对数据进剖析，评估数据的质量的重要性不喻。数据质量的评估标准主要有 6 个，包括：?123?准确性：准确性是指数据记录的信息是否存在异常或错误，是评估数据质量的要标准。?致性：致性是指数据是否遵循了统的规范，数据集合是否保持了统的格式。?完整性：完整性是指数据是否存在缺失的情况，数据缺失的情况可能是整个数据记

259、录缺失，也可能是数据中某个字段信息缺失，不完整的数据可能导致数据的错误倾斜，只有完整的数据才是有意义的。?及时性：及时性是指数据从产到可以查看的时间间隔，也叫数据的延时时。过时的数据可能会影响数据分析结果的准确性和可靠度，数据分析师需要定期检查数据并及时更新。?有效性：有效性是指数据要符合相关业的业务规则。如银卡、电话、邮箱的格式等。?唯性：唯性是指针对某个数据项或某组数据，没有重复的数据记录。?数据质量管理是从数据产到消亡整个命周期的管理，数据质量管理的标是通过可靠的数据提升数据价值，帮助企业开展业务和获取更多的经济利益。?4.5.44.5.4 数据标准管理数据标准管理?数据标准是指企业为保

260、障数据的内外部使和交换的致性和准确性的规范性约束。制定数据标准，实现数据标准化是开展数据治理的基础。?133 企业的数据标准来源常丰富，制定数据标准之前，我们通常需要考虑企业本制定数据标准的需求，为什么要制定数据标准，结合企业内部的实际情况，同时也要考虑外部业的监管需求，是否有国家相关标准参考，结合之上的这些需求规划数据标准的制定。?DCMM 描述的数据标准包括?121：?业务术语：业务术语标准化保证企业内跨部员对某具体技术名词理解的致性，提协同作效率和沟通准确性。?参考数据和主数据：参考数据是对其他数据进分类和规范的数据，主数据是跨部之间共享的数据，参考数据和主数据标准化，可以有效的提数据质

261、量和数据可性。?数据元和指标数据：数据元是指表数据的最单元，数据元标准化可以提数据的致性和准确性。指标数据通常于统计分析，为管理层决策提供参考，指标数据标准化提了决策的准确性。?4.5.54.5.5 数据安全数据安全?数据安全体系致分为三个：数据安全战略，数据全命周期安全，基础建设安全。?数据全命周期安全包含采集，传输，存储，数据共享与使安全，销毁安全等等。产品在实现时需要制定数据保护策略和数据保护规则，并根据这些策略和规则对数据进脱敏，实现数据安全共享。?常的数据保护策略包括?121：?数据分类分级：对数据进分类并根据其敏感性和重要性设定安全级别。?134 数据访问控制：对数据访问设置权限控

262、制，仅允许授权的能够访问相应的数据。?数据加密：对数据进加密，将数据转化成密显或者存储，只有授权的才能查看原始数据。常的数据匿名化技术包括：数据脱敏，泛化，数据置换，数据替换。?数据合规性合法性检查：确保数据在全命周期中遵守相关法律法规和标准，参考1.3 法律法规部分。?备份和灾难恢复：企业应制定合理的备份策略，定期对数据进备份，进异地备份等，同时还需要进灾难恢复测试，以保证备份数据的可性和备份恢复的及时性。对数据进备份是保障数据安全和防数据丢失的重要措施。?4.5.64.5.6 数据地图数据地图?亚信科技的数据事业部总经理伟在数据资产管理书中提到：?数据地图是种图形化的数据资产管理具，它提供

263、了多层次的图形化展，并具备各种度控制能，满业务使、数据管理、开发运维不同应场景的图形查询和辅助分析需求。由此可以，数据地图主要解决取数据和数据的两难题。?数据地图其实还衍出三个常重要的应：全链路分析、缘分析和影响分析。?全链路分析可以查找某个对象上下游所有数据链路的关系，能够清晰的看到数据从哪来，被到哪。?135 缘分析通过向上溯源，从找到以某个数据对象为起点的所有相关元数据对象以及这些元数据对象之间的关系。通过缘分析，可以帮助快速定位问题，进差异化分析，指标波动分析等。?影响分析通过向下挖掘，找到下游关联的所有元数据，反应数据的流向和加过程。通过影响分析，当想修改张基础表时，可以快速定位这张

264、表关联的所有下游表。?4.5.74.5.7 数据命周期数据命周期?数据命周期管理是指对数据在整个命周期过程中的管理。从静态看数据存在成，活动，衰退，归档和销毁各个阶段，从动态看数据存在数据采集，存储，处理，交换，销毁等阶段。数据命周期管理根据数据成的不同阶段管理数据，确保数据在各个阶段的完整性和准确性，提数据质量。数据命周期管理致分为 5 个阶段?124：?数据创建：数据时代，数据的来源异常丰富，但并所有数据对于企业都是必不可少的，必须评估数据与企业的相关性和价值，制定相关的收集策略。?数据存储：收集后的数据经过清洗和整理，需要根据不同的数据集选取不同的存储类型，还需要充分评估该存放式的基础架

265、构是否存在任何安全漏洞，以及是否可对数据进各种不同类型的处理，例如数据加密和数据转换，同时经过整理后的数据还可确保敏感数据遵守隐私和政府政策的要求，如 GDPR。?数据共享与使：数据经过处理以后，企业可以分享给组织内部或者外部的利益相关者。在数据共享时，可以采取相应的数据保护策略，以防未经授权的数据被访问或者隐私数据泄漏。在数据使过程中，企业还需要制定数据备份和恢复策略，防数据丢失和灾难恢复。?136 数据归档：需要定义何时归档，归档到何处以及归档多时间等等。?数据删除：当数据不在使时，企业需要对数据进安全销毁。?4.5.84.5.8 数据治理具数据治理具?4.5.8.14.5.8.1 开源实

266、现开源实现?Amundsen，托管在 LF?AI?and?Data?Foundation 的开源项,?主要包含元数据管理，通过结合 Neo4j 或者 Apache?Atlas 提供元数据，持从很多现有关系型数据库中以及湖仓引擎中抽取元数据，没有 RBAC 持?125。?DataHub，由 LinkedIn 和 Acryl?Data 开源的项，包含元数据管理、数据发现、数据缘、数据质量控制，持细粒度的数据访问控制，持 RBAC，允许对元数据进细粒度访问控制?126。?OpenMetadata?提供了统元数据发现、数据缘、数据治理、数据质量、定义术语以及员协同的开源平台，持现有部分关系型数据库、湖

267、仓引擎甚报表系统集成。其数据安全主要是各种 OAuth 认证?127。?Apache?Altas，持元数据管理、数据发现、数据分类、数据缘，通过跟Apache?Ranger 集成可以完成数据脱敏?128。?4.5.8.24.5.8.2 IBMIBM 数据治理数据治理具具?IBM 提供了企业级数据安全治理案 IBM?Knowledge?Catalog，持制定统的数据策略，对多种数据源的元数据统管理，多维度的数据质量分析，实现企业级数据安全管控案。在 IBM?Knowledge?Catalog 内部，内置了多样化的动化的数据管理功能，使其 137 在增强数据治理发挥着关键的作。其中包括：业务术语、

268、定义数据类、业务和技术缘、数据地图、数据质量规则、数据保护策略和规则、数据脱敏。尤其是其中提供了业加速器、业标准的术语库、数据类库和规则库。便基于开箱即的业资产快速客制化，构建私有的业数据录。同时提供 GDPR 等法规相关术语和规则库，满数据合规使和数据安全的需求。IBM?Knowledge?Catalog 同时提供给了丰富的界持，可以很好的展上下游数据加和转换链路。在数据地图部分智能动构建资产知识图谱，可以全、直观的图形化展系统、业务域、资产元数据的全貌。这些补充能可以有效加速企业数据录构建和相关数据治理作的开展。借助动化和智能能，IBM?Knowledge?Catalog 不仅可以简化元数

269、据存储库的建设流程，构建数据质量和安全管理的闭环，还能够加速业务团队获得更全的、可靠的数据，使业务分析师和数据科学家能够缝地利它们开发规范性智能模型和成智能模型框架。?4.64.6 成式智能成式智能在基础在基础撑平台撑平台治理治理的新趋势的新趋势?基础撑平台通常可以通过硬件（如防墙）和软件（如混合云平台通常包括的命名空间，控制组，份验证，组等）实现多种安全策略管理机制。这些安全机制共同协作可以更好的应对成式智能的险（章节 1.3.1），尤其是在数据隐私保护，络安全，知识产权保护等。（图?13 基础撑平台概览）?随着成式智能应的落地与实践，我们收集到些最新的研究成果和业趋势资讯，这些信息反映了业

270、界随着成式智能应在基础撑平台部署实施所遇到的新问题和新趋势。?138 4.6.14.6.1 可观测性技术可观测性技术?通过结合云原可观测性技术，从实现贯穿应层，AI 层，数据层的端到端的跟踪，以帮助理解和追踪模型参数，性能指标，业务 KPI 在内的数据变化，并进步将这些观测到的结果融模型改进的反馈循环中，参考 IBM?Instana 团队的相关博客?129介绍了通过将可观测性技术和成式智能相结合以实现将治理融 AI 命周期中监控管理的相关实践。?4.6.24.6.2 可持续成式智能可持续成式智能?正如章节 2.2.2.3 中提到的，成式智能需要量的能源资源。对数据中能源的总带宽是有限的，如何在

271、有限的能源带宽下，更好的规划和部署成式智能应，从达到最优的服务可靠性，成为了项新的挑战。根据国际能源署（IEA）的预测，数据中是电需求增的重要驱动，到 2026 年智能相关电的增常需求会幅增?130。混合云所具有的灵活性，如持多云部署和公有云私有云部署相结合的灵活部署式，可以在成本规划提供更加灵活和丰富的选项。关于这的研究尚处于起步阶段，如 Kepler 项可以指定负载的测量 GPU 的能耗?131为后续优化提供数据持，CNCF?TAG?Environmental?Sustainability?132?正在开始和推进这的开源合作。同时们发现，应专业的智能技术平台作为基础指导企业应级别的可持续计

272、算，能够实现能源效调度和利，提升能源接系统的可靠性和质性?133。?4.74.7 成式智能治理的指标矩阵成式智能治理的指标矩阵?指标表参附录?智能指标。?139 4.84.8 成式智能治理的结与展望成式智能治理的结与展望?成式智能是把双刃剑,为我们带来巨机遇的同时也存在不可忽视的险。本框架为负责任地开发和使该技术提供了指导原则和建议,但仍有待不断完善。我们呼吁所有利益相关参与进来,共同推动成式智能的健康、可持续发展。?140 五五?企业企业级级成式智能的成式智能的规划与实施规划与实施法法?随着智能不断发展，企业管们正在竭应对成智能对企业的影响。成智能将很可能颠覆传统业务模式，并改变员的常作式。

273、根据 IBM 商业价值研究院?(IBM?IBV)?最近开展的项调研，五分之四的受访管表成式 AI 将改变员的和技能，正在合作或计划利基础模型并采成智能。它拥有预测分析、机器学习和其他智能技术的能，可以动化重复和繁琐的任务和流程，并不断创新?134。?在成智能突然间成为瞩焦点的同时，但只有 10%的组织已成功地在多个业务单位和流程中部署了智能。对于许多企业来说，在采成智能时，由于技术种类繁多，单个业务场景可能会涉及到多种技术，多个项间可能会共某项核技术，每个企业必须平衡使这项强的技术的投以及其创造的价值，它需要全企业级别的政策、做法和指导针帮助企业从技术度明确未来主要的技术发展向，同时能持企业更

274、有的性的选择合作伙伴。?但是前多数企业缺乏全企业级别的成智能的战略规划，政策、做法和指导针。许多企业在实施相关项时，并没有事先进统筹规划，导致错误选择技术案，项法落地，范围蔓延，管理复杂难度，运营成本昂，没有专业团队等问题，最终导致项失败或者法产价值。?所以企业在制定合理、全、可实施的智能战略时，重点可考虑以下要素：?根据企业现状，竞争优势以及未来战略规划设定总体智能应的标，成功衡量指标，制定相关规划以满未来发展需求。?141 衡量智能对业务的影响，深分析和流程优化，评估商业价值，在主动采纳新兴技术与商业价值之间获取平衡。?论建还是与合作伙伴合作，需要考虑评估并采取措施规避主要智能险，包括算可

275、性，数据准确性，模型泛化性，模型解释性，隱私安全性，模型适配性，模型可扩展性，模型效性，社会伦理性，社会环保性。?确保实施的敏捷性和持续优化，让企业既可短期内获得阶段性商业收益、增强组织的信和持，可以根据实施情况即使调整相应规划以更好适应业务需求和内外部变化。?建有效的团队，由业务、技术（智能、数据）、险管理、战略、法务等多领域才组成的团队对于组织智能的发展关重要。?企业可以依照以下步骤开展企业可以依照以下步骤开展实施实施相关作：相关作：?第步：了解现状。第步：了解现状。?评估企业及所处业当前数字化成熟度，预估现在和未来 5-10 年法规、客、竞争对和核市场在智能领域的发展变化，在此基础上结合

276、企业的未来战略设定相关智能应向。?各业可以利成式 AI，结合业交叉的数据，以多元化的调研法，挖掘定量数据背后的逻辑，分析定性内容背后的观点，客观和真实地阐述业现状，评估企业的数字化成熟度，前瞻性地预测业未来的发展趋势。?第步：制定标。第步：制定标。?142 确定变的关键驱动因素?-?从业驱动因素到市场因素。确定如何将智能纳企业技术架构和业务结构，制定与现有企业战略叠加的智能标?-?降低产成本、减少、增加收、创新产品和服务等。?当前，企业临着激烈的竞争和客不断变化的需求。为了存和发展，企业必须寻求各种式来提效率和降低成本。通过成式 AI 动化成内容，可以减少操作时间，从提员的作效率。通过优化运营

277、流程、减少成本、节省时间成本等式，成式 AI 能够帮助企业实现成本下降。调查发现，75%的受访企业表降本增效是企业应成式具的要的，另外提敏捷性与市场反应速度（36%）、满差异化产品与服务创新（34%）、增强办公效率与内部协同（32%）同样是企业引成式具的主要的?135。?第三步：规划路径。第三步：规划路径。?根据业务发展需求制定智能应计划列表，运测序活动以创建有序计划的初步视图。确定测试/迭代排序的时间表和相关级资源要求。?第四步：确定案。第四步：确定案。?对业务场景分析，业务部需要与数字化部起对每个应场景进分析与拆解，确定每个业务应具体采的智能相关技术以及案。为所需的投资、回报、资源、品牌发

278、展等创建总体业务评估。?企业前正经历着迅速增的数据量，随着业务需求的多样化，数据类型也呈现出多样性。在选择数据案时，必须考虑以种统的式来管理各种不同类型的数据，同时需要确保所选案具备够的可扩展性，以满不断增的数据需求。?143 良好的数据质量是确保模型调试获得精准输出的关键因素。因此，在制定数据案的初期阶段就应当充分考虑数据质量和数据安全性，以确保所建的系统能够稳健地持企业的数据增和多样化需求。?第五步：统筹协同。第五步：统筹协同。?根据不同业务应场景对于智能技术的不同需要，分析各项技术间的协同性，并根据需求与能匹配程度制定不同的技术实施策略。将关联度更强，技术、数据训练集、甚案复性，在实现基

279、础设施层，服务组件层，态应层进有效整合，实现良好的技术协同能很好地帮助项有效衔接，减少重复投和复杂管理。?第六步：执管理。第六步：执管理。?制定详细的执计划，包括资源、时间、资等。在基础设施层，服务组件层，态应层三个技术层确定哪些是战略核，从中短期确定哪些需要企业建，招聘相应团队。哪些进外包或合作，寻找最合适的技术伙伴。确保建有效的智能管理体系，包括清晰的，流程，指标，质量管控过程。实现团队敏捷执项，与态各种参与的良好期合作关系，持续管控智能相关险。?第七步：持续优化。第七步：持续优化。?定期结合审核每个项的建设效果以及商业价值，结合外部业在各个业务领域智能的最佳实践，以及市场的最新智能技术发

280、展，对内部的智能应和管理进优化迭代，确保企业内的智能应与时俱进。?在智能赋能的数字化创新与可持续发展帮助企业在未来发展创建新的竞争，成为智能化时代的真正受益者。?144 六六?企业应成式智能的参考案例与实施价值企业应成式智能的参考案例与实施价值?当下，成式 AI 技术突猛进，善 AI 的企业获得了更竞争优势。过去，在数据为先的发展阶段，聚焦数据与数据命周期，IBM 提出智能阶梯（AI?Ladder）的法，从数据的收集、组织、分析、融合四个步骤为企业规模化部署 AI 奠定基础。这些作在个现代化的智能阶梯当中处于底层，也就是“+AI”的作。今天，企业在积极探索如何将 AI 于企业的应，如何对企业的

281、作流实现智能动化、甚替换现有的作流，最终让 AI 来完成作企业正从以数据为先的“+AI”阶段，步以 AI 为先的?“AI+”?的全新发展阶段。?纵观 AI 的发展历程，IBM 直处于突破性 AI 科技的前沿，在IDC?2023 年的市场调研中 IBM 被评为全球 AI 治理平台的领导者。IBM 致于将?AI?嵌企业的战略核，并致于将前沿科技转化为产。我们为企业提供开放、可信、有针对性和以实现价值创造为使命的 AI 解决案。这些案整合了 IBM 在软硬件以及咨询的全栈能，并且在全球的汽、电、制造业、消费品、融、医疗领域都有的实践经验。在此与您分享 IBM 的经典案例。IBM 愿成为您的转型伙伴，

282、与您携共创企业级可信 AI 新时代！?6.16.1 IBMIBM 案例案例?6.1.16.1.1 IBM?+?IBM?+?源卓微纳源卓微纳?+?艾科斯幂：以艾科斯幂：以?AI?AI?会友，共创制造业智能化故事会友，共创制造业智能化故事?源卓微纳科技（苏州）股份有限公司是家在业界处于领先地位的科技公司，专注为端电电路、IC 载板、先进封装、微机电系统?(MEMS)、泛半导体、太阳能和微纳器件制造提供产设备和艺解决案。艾科斯幂信息科技有限公司（X-POWER）是家科 145 技创新公司，为客定制化提供智能化数字化整体集成系统解决案,?2023 年成为 IBM牌合作伙伴。?在产品研发过程中，源卓微纳

283、临着做市场调研和市场评估，投、检索效率低的挑战、也不能保证技术调研的准确性、及时性和全性。希望找到种式来帮助研发团队提作效率。另外，为了赢得客的满意度，源卓微纳对客的承诺是 7*24时的技术持和售后服务，远程服务 15 分钟内响应，驻点区域 4时内到达。源卓微纳直在寻找合适的智能段来提升售后服务效率。?艾科斯幂与 IBM 合作根据源卓微纳的业务需求，选择了 watsonx?Assistant 做为智能助提供前端和语义理解的能，Watson?Discovery?做为档存储和检索具，并集成了 IBM 最新的 AI 开发平台 watsonx.ai，为源卓打造了企业级智能问答知识库。这个体系还利IBM

284、?AI?驱动的应集成案?Cloud?Pak?for?Integration?(CP4I)进应集成。watsonx.ai?为 IBM 企业级 AI 开发平台，基于最新成式?AI?功能，使数据科学家、开发员和数据分析师能够利开放直观的界来训练、测试、调整和部署 AI。watsonx?Assistant 提供向业务的更智能的对话式?AI?平台。Watson?Discovery?为 AI?持的智能搜索和本分析平台。CP4I?具备提升应程序速度与质量的卓越优势。?项实施之后，全提了源卓微纳的研发效率和售后满意度：?研发售后员登陆 OA 系统，根据登陆 ID,?系统会判断登录者有哪些权限。之后到达基于 I

285、BM?watsonx?Assistant?搭建的“智能问答界”；?根据的问题进语义分析、同时基于关键字在?Watson?Discovery?知识库中进检索返回到?watsonx?Assistant；?146 透过?watsonx.ai?语模型进深加，使得答案更加准确和性化，并将答案返回到?watsonx?Assistant 智能问答界上?源卓微纳与艾科斯幂选择 IBM?watsonx 系列产品是看中了 IBM 案在以下四的独特价值：?本地部署，数据安全?混合云部署云能，容易迁移?体化的平台集成能，易上?企业级技术持能?6.1.26.1.2 汽汽-众基于众基于 IBMIBM 业财体化平台构建全预

286、算体系业财体化平台构建全预算体系?汽-众汽有限公司（以下简称汽-众）于 1991 年 2 6 成，是由中国第汽集团有限公司、德国众汽股份公司、奥迪汽股份公司和众汽（中国）投资有限公司合资经营的型乘产企业，是我国第个按经济规模起步建设的现代化乘产企业。经过 32 年的发展，汽-众产能布局已覆盖东北春、西南成都、华南佛、华东岛以及华北天津。累计产销汽超过 2500 万辆，销量规模位列中国乘业第阵营。?在汽业速发展的今天，其上下游产业链复杂多变。在转型升级的过程中，如何做到市场的快速应变、实现业财融合的精细化管理是企所临的挑战。汽-众在转型升级中，精细化管理的需求越来越旺盛，企业也临着缺乏全预算系统

287、撑、法持实时测算，以及和 Excel 集成不好等系列挑战。?147 汽-众在进了多个软件产品的对后，选择了与 IBM 合作，基于 IBM 业财体化平台 Planning?Analytics?with?Watson 实现了精益化管理标。?通过这案，汽众实现了：?以财务预算为基础建覆盖公司、各部的预算管理系统，建关键指标监控与动化分析体系；?提供预算编制全过程的标下达、在线编制、提交汇总，多上多下的审批管控过程能；?利强的分析能来增强预算过程的管控和纠偏，确保经营标的落实；?建多维度的业财融合预算分析能。?全预算管理确保了业务可以按照标组织运营，也保证了汽众有能根据市场的变化及时做出调整。汽-众选

288、择与 IBM 合作，不光因为 IBM 是汽-众的期合作伙伴，同时也是因为 IBM?Planning?Analytics?with?Watson 业财体化平台能够满企业复杂业务需求，且具备快速建模、弹性应变，以及实时场景的分析、测算能，从实现了企业精细化管理的标,?提升了效益。?6.1.36.1.3 延锋汽数智之旅延锋汽数智之旅?延锋汽的总部位于上海，是家全球性的汽零部件商。延锋汽在全球 20 个国家拥有 9 家研发基地、240 多个与技术中，员总数超过 55,000，为全球整制造商提供汽零部件产品的设计、开发和制造。对挑战，延锋汽的做法是携像 IBM 这样技术领先且拥有丰富企业经验与技术专的公

289、司，共同探索数据为先的数智化之路，实现降本增效与创新发展。?148 场景：场景：AIAI赋能数据实时抽取赋能数据实时抽取解决开源的数据抽取具解决开源的数据抽取具KafkaKafka带来的运营瓶颈带来的运营瓶颈?延锋汽在每个分都部署了套开源的 Kafka 集群，作 MES 系统中多项实时产数据的抽取，提供给各个的 MI 看板系统进查询和展。?基于 IBM 的案，延锋的样板开始采?IBM?Cloud?Pak?for?Integration 中的?Event?Streams?组件来做实时数据的抽取。成数据的应程序从 MES 系统中抽取零配件产班次、产数量、需求数量、返修数量、排序以及其他相关的产数据

290、，发送到对应的数据主题频道。抓取数据的应程序通过订阅 Event?Streams 的相应主题频道，可以直接使相应数据。MI?Skynet?看板系统则可以选取指定的表字段，进后续的仪表板展和预警分析。?通过部署 Event?Streams 这企业级的数据抽取解决案，延锋汽可以实现键部署，开箱即，零宕机滚动升级，时刻拥有最新的 Kafka 稳定版本。同时，组件带图形化操作界，乎不需要额外的技能培训。利安全性和异地复制功能，还能获取企业级灾难恢复能。先进的模式注册表和丰富的?Kafka?连接器以及可扩展的?REST?API，轻松扩展现有企业资产的范围。不仅如此，IBM 还提供配套的企业级售后服务、专

291、家咨询和及时的问题排查，能够帮助客获取所需的技术专业知识。?场景：场景：AIAI赋能海量数据速传递赋能海量数据速传递实现分产间和总部之间海量数据的速传实现分产间和总部之间海量数据的速传输，为智能库存与预测夯实数据基础输，为智能库存与预测夯实数据基础?为了实时掌握分布在全球 240 多个众多间的零部件库存使情况，延锋汽利各的监控摄像头将成千上万张的实时照快速地传回总部。起初，智能制造部采传统的复制粘贴的法来传输批量的照件，由于传输速度慢、络延迟明显、丢包严重，需要多次分批次选择对应照件进复制，这样既耗时容易误操作，同时 149 法断点续传、法动重连、法定义传输速度，主的传输带宽法得到充分利。?在

292、 IBM?团队持下，延锋汽仅天时间就完成了美、轻量级的?IBM?Cloud?Pak?for?Integration?-?Aspera?的组件部署，构建起企业级的件传输解决案，使延锋汽的件传输速度平均提了 10 倍，节约了等待时间，避免了误操作，实现了断点续传和动重连，并且可以动态配置传输带宽和限速，在不影响?ERP?核系统性能的前提下最化地提了实时监控件的传输效率，为实现其智能库存与预测的愿景奠定了基础。?场景三：场景三：AIAI赋能效订单管理赋能效订单管理将海量外部通订单动转为内部订单将海量外部通订单动转为内部订单?延锋汽每天收到整和下游商的订单量巨，之前需要通过根据经验把通订单转为内部订单

293、，每个每天需要两名作员花 150 分钟进分类。即使在这样的投下，仍伴随 15%的分类错误，给延锋汽带来成本和效率的双重挑战。?利 IBM?Watson?Discovery 强的然语学习能，延锋汽成功构建起 AI 模型，?从他们涵盖了 1.8 亿历史数据、200 多种排列组合、结构化数据和结构化本的混合数据中，学习通订单对应的内部订单背后蕴藏的规则，变智慧脑，实现了全动执流程，需操作。?场景四：场景四：?AIAI赋能研发创新赋能研发创新ELMELM助延锋助延锋电电优化研发流程，将效率转化为产优化研发流程，将效率转化为产?中国汽的产业价值链在智能联汽发展趋势下，软件层和智能化层的价值逐渐被挖掘和放

294、，以效研发为牵引，成为企打赢价值战的致胜关键。与此同时，创新迭代和项交付速并，质量管理难度也不断提升，客对供应商的体量和质量追溯能要求也越来越严苛。?150 IBM 汽业程命周期解决案 ELM?（Engineering?Lifecycle?Management)集合了研发效率管理、研发知识管理、研发能构建和研发合规性四个主题，是市场领先的效研发管理解决案。助延锋电优化研发流程，将效率转化为产。?场景五：场景五：?AIAI赋能设备管理创新赋能设备管理创新MMaximoaximo助延锋提升设备管理绩效助延锋提升设备管理绩效?随着延锋业务的快速发展，已经形成了在全球 20 多个国家拥有 240 多个

295、产基地的庞规模。如何从集团的度科学地持有并管好资产设备，对延锋提产运营平、降低运营成本、以及实现智能制造都有重要意义。?IBM?Maximo 是全球领先资产设备管理解决案，近年来直与延锋在这领域紧密合作，助延锋在快速扩展的过程中实现资产设备的精细化管理，这包括：实现资产设备集团化管理，适应多语、多时区、标准化管理的挑战；实现资产设备全命周期管理；实现移动化应，提升客效率和体验；通过精细化的设备运维策略和执，提升运维效率、保障产执并降低备件库存。?随着技术的不断发展，IBM 将 AI 和 IoT 技术不断地赋能到 Maximo 资产设备管理解决案领域，在物联监控、设备健康分析、预测性维护以及 A

296、I 维修助等领域都形成了领先的案。随着延锋设备管理要求的不断提升、数据的不断积累和完善，IBM?Maximo将不断深化在延锋资产设备管理领域的应与合作，助延锋实现智能制造的战略标。?6.1.46.1.4 苏州环球科技利智能和动化技术，成功构建企业智能业务流程管理平台苏州环球科技利智能和动化技术，成功构建企业智能业务流程管理平台?苏州环球科技股份有限公司（简称“环球科技”）始建于?1970?年，拥有?50?多年链条研发、制造经验，是国内链条业的领头，也是集链条研发、制造、销售于体的国家新技术企业。近年来，数字化、智能化成为环球科技转型升级的重要段，公司先后 151 开发部署了?MES、ERP、W

297、MS、质检系统、供应商管理系统等多个?IT?系统，服务企业各个业务流程。?随着新业务的快速发展和竞争加剧，环球科技急需实现从产品设计、产、物流、销售等多环节多业务的紧密配合和上下游联动，构建统的智能业务流程管理平台，提升效率、降低成本。环球科技要构建先进的智能业务流程管理平台，先需要实现跨越不同业务流程间的多个系统的互联互通，串联不同流程上的作使的?IT?系统，实现各个业务环节之间的缝连接，快速预警，全流程可视化、可追踪。?环球科技利?IBM?Cloud?Pak?for?Integration?中的企业服务总线组件?App?Connect?来提供可靠的应集成解决案,构建了统的应集成平台，解决了

298、系统之间接混乱的问题,?实现了敏捷且轻量的应集成，实现了多种应接联通、多种数据格式解析处理；还提供了信息同步、异步传输能；同时具有安全性、稳定性和易扩展性；具有良好的统计、分析和监控能。?实现现有信息系统的互联互通是向智能动化的第步。第步需要系统性梳理环球科技业务过程中的、流程、规则及当前 IT 系统架构。过去，环球科技的业务流程执主要靠线下沟通，使得不同部间存在信息断点，导致从订单到交付沟通成本，经常难以按期兑现交付。同时，产管理主要依靠经验判断，原料临时采购的情况经常发，存在成本险管理的问题，采购进度追踪也不及时。?环球科技采?IBM?Cloud?Pak?for?Business?Auto

299、mation?中包含的业务动化作流?(BAW)?的能，作为企业级?BAW?来整合业务系统与管理系统流程审批信息，实现对业务流程全可视并综合管理。该产品为流程改进和?BAW?命周期管理提供了共软件平台，在流程管理和业务规则管理领域体现出优势，表现出关键任务解决案所要求的强 152 性能及稳健性，帮助环球科技建他们所需要的作流和可视化流程平台。IBM?Cloud?Pak?for?Business?Automation?中除了?BAW，还在智能动化领域提供客所需的规则引擎、档管理平台等能，未来可以快速进横向扩展，持客更多的智能化需求。?前，环球科技利?IBM?Cloud?Pak?for?Busine

300、ss?Automation?建了统的业务动化管理平台，这个平台的开发界较简单，公司的?IT?团队很容易就可以按照新的业务需求开发新的业务流程；且开发速度快，调试便快速，部署容易；开发出来的流程可以很容易地跟其他系统做整合集成；同时，流程带内容和规则引擎，满了环球科技对于简化规则引擎的需求。不仅如此，该平台从技术上实现了整体流程可视化，以便对内部复杂的流程进管理，并且能做到流程的合规监控。基于混合云底座，便客切换不同的底层基础设施，简化了在混合?IT?环境下对其应、数据以及业务流程的统管理。?具体实施价值体现在：?数字化的产流程超级动化数字化的产流程超级动化：以前的零件产计划需要动 Excel

301、计算完成，需要 5 天时间；现在全动计算只需要个时，计划员作量减少了80%；?不良品的全数字化评审：不良品的全数字化评审：改进后的数字化流程将检验员和员的作效率提升，作量减少了 60%；?数据驱动的采供销体化流程将订单完成提了 50%。?153 6.1.56.1.5 NASA?NASA?携携 IBM?IBM?发布发布 Hugging?FaceHugging?Face 平台最开源地理空间平台最开源地理空间 AIAI 基础模型基础模型?IBM 与开源 AI 平台?Hugging?Face?共同宣布，基于美国宇航局（NASA）卫星数据构建的 IBM?watsonx.ai 地理空间基础模型现已在 Hu

302、gging?Face?发布。它将成为 Hugging?Face 上今最的地理空间基础模型，也是个与 NASA 合作构建的开源 AI 基础模型。?在环境条件乎每天都在变化的候科学领域，获取最新数据仍然是候科学研究临的主要挑战。尽管数据量不断增加（NASA 预估到 2024 年，其新任务将产 25 万?TB的数据），但科学家和研究员们在分析这些型数据集时仍临障碍。作为与 NASA 签署的空间动协议（Space?Act?Agreement）的部分，IBM 在 2023 年初构建了个于处理地理空间数据的 AI 基础模型。现在，双联业内公认的开源领导者和Transformer 模型库 Hugging?F

303、ace，共同发布上述地理空间基础模型，以扩候和地球科学研究中对 AI 技术的访问和应，从加速创新。?该基础模型由 IBM 和 NASA 共同训练，使了过去年在美国陆范围内的Harmonized?Landsat?Sentinel-2（HLS）卫星数据，并基于洪和焚烧区域的标记数据进了调优。相于前的领先技术，该模型仅使同等条件下半的标记数据，便实现了 15%的效果改进。通过进步的调优，该模型还可以应于追踪森林砍伐、预测农作物产量、检测和监测温室体等新任务。IBM 和 NASA 的研究员还与克拉克学合作，将该模型于时间序列分割（time-series?segmentation）和相似性研究等领域。?

304、IBM?推出的智能和数据平台?watsonx，使企业能够利可信数据扩展和加速最先进智能的影响。作为?IBM?watsonx?的部分，地理空间模型的商业版本也将通过?IBM?环境智能套件?(EIS)?推出。在开展?HLS?地理空间调频作的同时，NASA?和?IBM?还在开发其他应程序，以从地球观测中提取解，包括基于地球科学献的型语模 154 型。根据美国国家航空航天局的开放科学准则和原则，这项合作作所产的模型和产品将向整个科学界开放。?6.1.66.1.6 IBM?IBM?利利 watsonxwatsonx 为温锦标赛带来由基础模型与成式为温锦标赛带来由基础模型与成式?AIAI 赋能的数字体验赋

305、能的数字体验?全英草地球俱乐部是每年温布尔登球锦标赛的主办，保护这项世界上历史最悠久、最负盛名的球赛事的丰富化遗产对它来说关重要。?1877?年次举办锦标赛以来，温布尔登球赛已汇聚了各各业的球迷，从英国皇室成员、企业主到业余体育迷，他们共同享受着世界上最好的球赛事。?与此同时，社会正在发益巨的变化，现有和潜在球迷的性质、深度和度也是如此。数字技术处于变的前沿，为球迷、媒体和球员提供了新的参与式。温布尔登球公开赛充分抓住了这些机遇，不仅加强了其已经常强的品牌，且也成为了家数字媒体公司，制作与球相关的视频、络和社交媒体内容，并在其数字平台上发布，包括?W?和?Wimbledon?应程序，以及通过新

306、闻媒体发布。这种创新的基础是温布尔登与?IBM?的期合作关系。两家公司于?1990?年携合作，并在持续利技术量为温布尔登观众们提供全新、卓越的体验。?2023?年?6?，IBM 和全英草地球俱乐部公布了两项在 2023?年温布尔登球锦标赛?(简称“温”)?上推出的全新球迷数字体验新功能：?第个新功能是利?IBM?watsonx?的成式?AI?技术，为温赛期间所有视频集锦提供成式 AI 球评论解说的功能。?第个新功能是叫做?IBM?AI?Draw?Analysis?的应，这是个为球赛打造的分析应，可以提供套全新的统计数据，以确定每个球员进阶决赛的潜。?155 这两项新功能扩展了温应和?上的针对球

307、迷的数字具套件，是?IBM?和温利技术帮助球迷更深地参与温锦标赛的最新例。?IBM?AI?评论解说：新的?AI?评论解说功能将为观看赛集锦视频的球迷提供关键时刻的频评论解说及字幕，球迷可以打开或关闭字幕功能。该具旨在为球迷提供更有地的体验，让他们在温应和?上通过精彩视频来抓住赛的关键时刻。为了开发此项新功能，IBM?Consulting?的体验设计合作伙伴?IBM?iX?的专家与全英俱乐部合作，利?IBM?企业级?AI?和数据平台?watsonx?的基础模型，球的独特语训练?AI。基于这些基础模型的成?AI?被来成具有不同句结构和特定词汇的旁和解说，使剪辑的视频内容更具知识性，也更加引胜。?I

308、BM?AI?Draw?Analysis：引温球迷数字具的另个新功能是?IBM?AI?Draw?Analysis，这是球领域的个此类统计数据，它使?AI?来确定单打抽签中每个球员进决赛的可能性。每个球员的进阶优势将通过评级的式来呈现，基于包括球员与潜在未来对的赛以及球员在单打抽签中的位置与竞争对的较等因素。这新的解将帮助球迷发现单打抽签中的异常和潜在的惊喜，这个仅通过查看球员的排名是法察觉的.?新推出的两项新功能将添加到温应和?上为球迷提供的智能数字具套件中。该套件还包括?IBM?Power?Index?排榜、IBM?Match?Insights?以及个性化推荐和精彩画集锦等应，这些数字功能使来

309、温赛每次击球得出的多达?100,000?多个数据点，由?IBM?Cloud?上的?IBM?Watson?AI?技术进分析，旨在让球迷更容易了解要关注哪些球员、这些球员与对的较，以及谁可能获胜等信息。球迷们在整个温赛期间都可以利这些数字具，持续关注他们喜爱的球员，不断更新和获取量定制新解。?156 6.1.76.1.7 美国最的房零售商美国最的房零售商 CampingCamping?World?World?通过通过?AI?AI?驱动的虚拟助重构客体验驱动的虚拟助重构客体验?1966?年以来，Camping?World 直专为主和露营者提供产品和服务。现已发展成为美国最的房和房相关产品和服务零售商

310、，拥有?160?多个?Camping?World?SuperCenter。?2009?年以来，该企业直是?NASCAR?的官房和外品零售商。此外，Camping?World?还与美国职业棒球联盟建了多年的合作伙伴关系。?Camping?World?深知提供卓越的客服务对于在竞争中保持领先地位关重要。该企业在很程度上依赖其呼叫中来提供与伦的客服务，但在新冠疫情之后，客数量的激增暴露了其现有基础架构的些问题。随着数量和流量的增加，客服代理管理和响应时间的缺愈发突出。Camping?World 为三类截然不同的喜欢房活式的客提供服务。第是零售客，第是融服务（如保险）或商品客，第三是经销商客。”Cam

311、ping?World 有个规模不错的呼叫中，但法让位客服代理来满三个不同业务部的需求。这给呼叫中的员配备带来了极的复杂性。没有?24x7?全天候呼叫中也是个期存在的问题。?Camping?World?需要个以为本的解决案，使其运营能够伸缩，并应对寻求快速帮助的客数量的增加。在寻找最适合的呼叫中现代化路线后，该零售商选择了?IBM?开发的认知?AI?案。IBM?为 Camping?World 提供了不同的场景，包括构建技术的路线图，最终使客能够简化流程、提客服代理效率，最重要的是极地改善整体客体验。?该解决案由?IBM?watsonx?Assistant?提供持，缝集成了对话云平台?LivePe

312、rson，并在所有络属性中进了部署，增加了问题和电话功能的覆盖范围。它将?Camping?World?客与虚拟客服代理连接起来，使现场客服代理能够接管更复杂的对 157 话。虚拟客服代理名为?Arvee，通过动态路由和容量管理功能，确保更快、更效的响应时间。Arvee?的潜在客开发功能（尤其是在作时间之后）是该团队以前没有的功能，可以让现场客服代理轻松跟踪并主动跟进客询问。?IBM?watsonx?Assistant?可以识别客的意图，并能将呼叫者转接有空的现场客服代理以开展对话。实施后，客参与率呈显著上升趋势，中断的对话数量有所减少。客的等待时间越来越短，响应速度越来越快，客服代理的效率也得

313、到了显著提。借助客服代理桌集成，以及?Arvee?在处理互联和机短信时主动收集客数据的帮助，现场客服代理可以同时处理多个聊天，从将整体效率提?33%。截?2022?年?3?，客参与度增加了?40%，等待时间降?33?秒。?6.1.86.1.8 花旗银采花旗银采 IBMIBM 企业级企业级 AIAI 解决案实现业务数智化转型解决案实现业务数智化转型?作为家全球领先银，花旗银为超过 2 亿客提供服务，并直在积极探索运先进的企业级 AI 技术来增强企业运营。作为混合云和 AI 技术解决案的领先供应商，IBM 为花旗银提供了套企业级 AI 解决案和服务。?花旗银拥有全球最的公司审计部之，其中包括 25

314、00 名审计员，他们需要处理量的档审查和险评估作。鉴于这职能的规模和重要性，花旗银深知替换现有审计平台必须谨慎考虑，并且必须对技术合作伙伴充满信任。在深了解 IBM 的智能解决案后，花旗银选择了基于 IBM?Watson?Discovery、IBM?Cloud?Pak?for?Data 和IBM?OpenPages?with?Watson 的级分析解决案，从协助 2500 名审计师协同在个平台上作。原来个可以完成 40 个审计项，现在个可以完成上千个审计项。同时，IBM 还为花旗银创建了个 AI 创新空间，以使他们能够继续在新审计平台上 158 应 AI 来进持续创新。通过引 IBM?企业就绪

315、的?AI?和数据平台 watsonx，花旗银与 IBM 探索将 watsonx 和基础模型应于内部管控，以进步实现审计的智能化转型。花旗银内部审计部的?Mark?Sabino?博表：“我们正在研究型语模型?(LLM)?的潜在途，我认为有限的可能。其中个我在考虑内部使的关键例是，如何使?LLM?来将您的管控与您的内部政策和法规联系起来。”?在部署 AI 具时，如何在效率和创新之间找到平衡，离不开灵活、安全、可持续和可扩展的 IT 基础设施。花旗银利开源数据库 MongoDB 构建了全球最的数据库平台，部署在多个全球数据中，并选择在 LinuxONE 上托管 MongoDB。相较于传统的 IT 解

316、决案（如增加服务器），LinuxONE 提供了垂直扩展和对数据泄露与络攻击的关键保护，从优化了数据中的运效率，同时降低了碳迹。与此同时，服务器节能例达到 50%，性能提升 15%，安全性也得到了提升。此外，在 AI 应领域，LinuxONE 也处于领先地位。去年发布的第四代 LinuxONE 搭载了业界个集成的 AI 芯，可以帮助客在规模交易等任务中实现实时 AI 推理能。?花旗银技术基础架构部常务董事 Martin?Kennedy 表：随着我们业务的增和变得越来越数字为先，采传统的 IT 解决案会增加更多的物理服务器，同时增加所需的楼层空间。采托管在 IBM?LinuxONE 上的 Mong

317、oDB，则可以提供垂直扩展和针对数据泄露与络攻击的关键保护，有助于优化数据中，同时降低我们的整体碳迹。?6.1.96.1.9 BlendBlendow?Groupow?Group 携携 IBMIBM 获得基于获得基于 AIAI 的法律分析变量的法律分析变量?于瑞典法律知识和情报传播的前沿，Blendow?Group 已成为法律新闻、教育和专家分析的关键资源。Blendow?Group 需要仔细分析、总结和评估数法律件，从法院裁 159 决到法和判例法。由于这些分析基于量的信息，在有限的员资源下，Blendow?Group 需要个可扩展的解决案。?为了应对这挑战，Blendow?Group 与

318、IBM 合作，应基于 IBM?AI 开发平台watsonx.ai 以及 IBM 全栈的软硬件能获得了法律分析中的变量。watsonx.ai，是个专为今天与未来的业务设计的?AI?开发平台。它结合了?IBM?Watson?Studio?的功能和利基础模型能的最新成式?AI?的功能，使数据科学家、开发员和数据分析师能够利开放直观的界来训练、测试、调整和部署由基础模型提供持的传统机器学习和新的成式?AI?功能，由此快速构建、运和部署?AI。该智能解决案擅浏览量法律件，从详细的法院判决到泛的法律本和法规。它增强了研究、分析并简化了创建法律内容的过程，同时保持了敏感数据的最机密性。?该解决案不仅简化了内

319、容准备过程，还提了搜索和分析泛法律件的能:?减少 70%发现和分析法律件所需的时间?增加 80%各种法律本的覆盖?减少 90%总结和分析这些档所需的时间?6.26.2 其他案例其他案例?以下由 COPU 提供的成员企业成式智能相关应案例。?6.2.16.2.1 象声科（深圳）科技股份有限公司基于象声科（深圳）科技股份有限公司基于 Intel?OpenVINOIntel?OpenVINO 平台构建智能语增强平台构建智能语增强和智能语交互解决案和智能语交互解决案?【案例背景】【案例背景】?160 象声科(深圳)科技有限公司(以下简称象声科)成于 2015 年，是全球领先的机器听觉智能公司。依托计算

320、听觉场景分析理论(CASA)和深度学习技术，提供全球领先的智能语增强和智能语交互解决案。随着智能的快速发展，语交互成为新的交互形式，如何在复杂噪声环境下提供清晰的语交互体验，是象声科临的挑战。?【业务需求】【业务需求】?在如今的快节奏活中，们需要在各种环境中进语交互，如地铁、商场、KTV等噪声环境。在这些环境下，如何提供清晰的语交互体验、实现语增强和噪声抑制，为提供更佳的使体验，是象声科所临的挑战。?【解决案】【解决案】?象声科推出了智能语增强和智能语交互解决案。通过将标声与噪声进“理想元掩模”处理，将声学信号处理转化为个分类问题，基于深度学习和计算听觉场景分析理论，算法具有适应能，能够不断学

321、习优化，实时分离声和背景噪声，提取清晰声。同时，借助 OpenVINO 集成在英特尔 GNA/VPU 平台上，幅度提升了语清晰度和语交互体验。?【实施价值】【实施价值】?象声科的智能语增强和智能语交互解决案，能够有效提升各种环境下的语交互体验，提供清晰、稳定的语输出，提升了体验。通过适应学习优化的算法，能够实时应对各种复杂的声环境，满了在各种环境下的语交互需求，提升了其产品的竞争和市场份额。?161 6.2.26.2.2 深圳酷酷科技有限公司基于深圳酷酷科技有限公司基于 Intel?RealsenseIntel?Realsense 技术架构构建技术架构构建 AIAI 可穿戴解决案可穿戴解决案?

322、【案例背景】【案例背景】?深圳酷酷科技有限公司(以下简称酷酷科技)成于 2015 年，致于?AR/MR 智能眼镜，AI 智能穿戴及新代个信息终端的研发和销售。在 AI 穿戴设备的发展过程中，酷酷科技临着技术难关、市场竞争等各种挑战。?【业务需求】【业务需求】?在 AI 穿戴设备的速发展中，如何实现技术的突破、满市场的需求、提供优质的产品是酷酷科技所临的挑战。酷酷科技在技术研发过程中，需要解决整机设计、微显及光学设计、HCI 等的技术难题。?【解决案】【解决案】?酷酷科技从实际应出发，结合科技发展的趋势，在 AI 穿戴设备、AR/MR 向上努攻克技术难关。前已经在科的微创及显微术上有所突破，基于

323、英特尔 Realsense等技术，在些新产的势识别，眼动交互等，进研发和测试。同时，酷酷科技也在科、胸外科、脑外科、医美术等向进技术及应的突破。?【实施价值】【实施价值】?酷酷科技的 AI 穿戴设备解决案，不仅实现了技术的突破，提供了优质的产品，也满了市场的需求。通过攻克技术难关，酷酷科技提升了其产品的竞争，增强了公司的市场地位。同时，酷酷科技的解决案也为社会带来了实际的价值，如在医疗领域，酷酷科技的智能眼镜可以提升医的术效率，提术的精准度，为患者提供更好的医疗服务。?162 6.2.36.2.3 港流形科技公司的基于港流形科技公司的基于 Intel?OpenVINOIntel?OpenVIN

324、O 平台构建三维重建解决案平台构建三维重建解决案?【案例背景】【案例背景】?港流形科技有限公司(以下简称流形科技)成于 2015 年，专注于?3D 扫描、建模、机器技术和算法开发，致于构建虚拟与现实之间的桥梁。然，如何提供实时、精度的三维重建解决案，降低作业成本，提升计算效率，是流形科技临的挑战。?【业务需求】【业务需求】?在快速发展的 3D 扫描、建模业中，提供实时、精度的三维重建解决案是业界的迫切需求。同时，如何将期从以为单位缩短到以分钟级，幅度降低作业成本，提升计算效率，是流形科技所临的挑战。?【解决案】【解决案】?流形科技以研的效多传感器融合算法，结合神经渲染技术，为三维重建业提供实时

325、、精度的解决案。通过研的后处理技术，将传感器的原始精度提升 200%，精度媲美架站式扫描仪。流形科技的解决案能够在分钟级时间内完成快速精度三维重建，满绝部分下游 3D 业应，且流机可以与多种机器平台缝对接，具有极强的通性。?【实施价值】【实施价值】?流形科技的三维重建解决案，实现了实时、精度的三维重建，幅度降低了作业成本，提升了计算效率，满了绝部分下游 3D 业应的需求。流形科技的解决案，不仅提升了三维重建业的效率，也推动了 3D 扫描、建模业的发展，提升了流形科技的市场竞争。?163 6.2.46.2.4 乘科技（珠海）有限公司基于乘科技（珠海）有限公司基于 Intel?OpenVINOIn

326、tel?OpenVINO 平台构建的数字孪解决案平台构建的数字孪解决案?【案例背景】【案例背景】?乘科技(珠海)有限公司(以下简称乘科技)成于 2015 年，是家国家级新技术企业，通过整合数据、智能、物联和数字孪等前沿技术，提供智能、效和创新的解决案。然，如何利数字孪技术，为提供更精准、效的解决案，是乘科技临的挑战。?【业务需求】【业务需求】?在速发展的数字孪技术中，如何将现实世界的实体、过程和系统映射到数字世界中，提供全的数据分析和决策持，帮助优化运营、提效率和降低险，是乘科技所临的挑战。?【解决案】【解决案】?乘科技推出了数字孪解决案，应了物联、数据、智能等前沿技术，具备实时监测、预测预警

327、、仿真推演和智能决策等功能。乘科技的数字孪解决案能够解决现实世界中的复杂问题，提供全的数据分析和决策持，帮助优化运营、提效率和降低险。?【实施价值】【实施价值】?乘科技的数字孪解决案，实现了现实世界的实体、过程和系统的数字化映射，提供了全的数据分析和决策持。这解决案不仅帮助优化运营、提效率和降低险，也推动了数字孪技术的发展，提升了乘科技的市场竞争。同时，乘科技的数字孪解决案也为智慧城管、智慧、智慧园区等领域的数字化转型提供了有的技术持。?164 6.2.56.2.5 深圳博通光电智能科技有限公司的基于深圳博通光电智能科技有限公司的基于 Intel?OpenVINOIntel?OpenVINO

328、平台构建的电纸智慧办平台构建的电纸智慧办公产品解决案公产品解决案?【案例背景】【案例背景】?深圳博通光电智能科技有限公司(以下简称博通光电)，成于 2011?年，是全球领先的物联核技术、产品和解决案提供商。然，在迅速发展的智慧办公业中，如何利电纸，智能，数据和物联技术，提供效的智慧办公解决案，是博通光电临的挑战。?【业务需求】【业务需求】?在智慧办公业中，如何通过部署新代智能办公终端，采集位置、呼叫通知等数据，智能管理投屏动作及显内容，实现纸化办公及数字化应，效管理办公信息，是博通光电所临的挑战。?【解决案】【解决案】?博通光电推出了“电纸”智慧办公产品解决案。这解决案应电纸、智能、数据和物联

329、技术搭建的智能办公系统，通过部署新代智能办公终端，采集位置、呼叫通知等数据，智能管理投屏动作及显内容，实现纸化办公及数字化应，效管理办公信息。?【实施价值】【实施价值】?博通光电的“电纸”智慧办公产品解决案，实现了纸化办公及数字化应，效管理办公信息，提升了办公精细化管理平和企业办公效率，幅减少了普通纸张的使和降低了企业的成本。这解决案不仅优化了办公环境，也推动了智慧办公业的发展，提升了博通光电的市场竞争。?165 6.2.66.2.6 惟科技（深圳）有限公司的基于惟科技（深圳）有限公司的基于 Intel?OpenVINOIntel?OpenVINO 平台构建的平台构建的 3D/XR3D/XR

330、数字营销数字营销S SaaSaaS 解决案解决案?【案例背景】【案例背景】?惟科技(深圳)有限公司(以下简称惟科技)成于 2018 年，专注于 3D/XR 数字营销SaaS 解决案的研发和应。然，如何通过 AI1653D/XR 技术提供效、经济、精准和智能的数字营销解决案，降低制作成本，提精准度，是惟科技临的挑战。?【业务需求】【业务需求】?在快速发展的数字营销业中，如何通过 AI1653D/XR 技术实现快速、经济、精准和智能的数字营销，帮助电商企业在快速变化的市场中迅速成质量营销内容，降低制作成本，提精准度，是惟科技所临的挑战。?【解决案】【解决案】?惟科技推出了 3D/XR 数字营销 S

331、aaS 解决案。这解决案整合了硬件终端与在线 SaaS 平台，提供体化的解决案，帮助电商企业在快速变化的市场中迅速成质量营销内容，降低制作成本，提精准度，同时通过智能告创作、个性化推荐和数据驱动决策等具，助企业实现更为智能、创新的数字营销策略。?【实施价值】【实施价值】?惟科技的 3D/XR 数字营销 SaaS 解决案，实现了快速、经济、精准和智能的数字营销，幅度降低了制作成本，提了精准度，满了电商企业的需求。这解决案不仅提升了数字营销业的效率，也推动了 3D/XR 技术的发展，提升了惟科技的市场竞争。同时，惟科技的解决案也为企业提供了更为智能、创新的数字营销策略，助企业实现 GMV 的快速增

332、。?166 七七?企业级成式智能的未来展望企业级成式智能的未来展望?近年来，智能相关技术持续演进，产业化和商业化进程不断提速，正在加快与千百业深度融合。全球智能市场预计到 2024 年将超六千亿美元，复合增速 27%。世界各国纷纷布局智能，深化智能发展，将智能发展制定为国家未来数字化发展战略。?美国成了国家智能倡议办公室、国家?AI?研究资源作组等机构，各部密集出台了系列政策，将智能提到“未来产业”和“未来技术”。2021?年?7?，美国国家科学基会联合多个部和知名企业等，新成?11?个国家智能研究机构，涵盖了机交互、智能优化、动态系统、增强学习等向，研究项更是涵盖了建筑、医疗、物、地质、电、

333、教育、能源等多个领域。?英国于?2021?年?9?发布国家级智能新年战略，这是继?2016?年后推出的重要战略，旨在重塑智能领域的影响。英国持智能产业化，启动智能办公室和英国研究与创新局联合计划等，确保智能惠及所有业和地区，促进智能的泛应。?中国中共中央关于制定国?经济和社会发展第四个五年规划和?2035?远景标纲要的建议指出，要瞄准智能等前沿领域，实施批具有前瞻性、战略性重科技项，推动数字经济健康发展。四五规划纲要明确发展智能产业，打造智能产业集群以及深赋能传统业成为重点。?本继制定科学技术创新综合战略?2020之后，于?2021?年?6?发布“AI?战略?2021”，致于推动智能领域的创新创造计划，全建设数字化政府。本将基础设 167 施建设和智能应作为重点，提出加快建设相关基础设施，重点强调了跨业的数据传输平台以及智能相关标准等，全推动智能在医疗、农业、交通物流、智慧城市、制造