1、 1 混合 AI 是 AI 的未来 2023 年 5 月 第一部分：终端侧 AI 和混合 AI 开启生成式 AI 的未来 2 目录 1 摘要.3 2 生成式 AI 简介和当前趋势.4 3 混合 AI 对生成式 AI 规模化扩展至关重要.5 3.1 什么是混合 AI？.6 3.2 混合 AI 的优势.6 3.2.1 成本.6 3.2.2 能耗.6 3.2.3 可靠性、性能和时延.7 3.2.4 隐私和安全.7 3.2.5 个性化.7 3.3 AI 工作负载的分布式处理机制.8 3.3.1 以终端为中心的混合 AI.8 3.3.2 基于终端感知的混合 AI.9 3.3.3 终端与云端协同处理的混合

2、 AI.10 4 终端侧 AI 的演进与生成式 AI 的需求密切相关.11 4.1 终端侧处理能够支持多样化的生成式 AI 模型.11 5 跨终端品类的生成式 AI 关键用例.12 5.1 智能手机：搜索和数字助手.12 5.2 笔记本电脑和 PC：生产力.13 5.3 汽车：数字助手和自动驾驶.13 5.4 XR：3D 内容创作和沉浸式体验.14 5.5 物联网：运营效率和客户支持.16 6 总结.17 3 1 摘要 混合 AI 是 AI 的未来。随着生成式 AI 正以前所未有的速度发展1以及计算需求的日益增长2，AI 处理必须分布在云端和终端进行，才能实现 AI 的规模化扩展并发挥其最大潜

3、能正如传统计算从大型主机和瘦客户端演变为当前云端和边缘终端相结合的模式。与仅在云端进行处理不同，混合 AI 架构在云端和边缘终端之间分配并协调 AI 工作负载。云端和边缘终端如智能手机、汽车、个人电脑和物联网终端协同工作，能够实现更强大、更高效且高度优化的 AI。节省成本是主要推动因素。举例来说，据估计，每一次基于生成式 AI 的网络搜索查询（query），其成本是传统搜索的 10 倍3，而这只是众多生成式 AI 的应用之一。混合 AI 将支持生成式 AI 开发者和提供商利用边缘终端的计算能力降低成本。混合 AI 架构或终端侧 AI 能够在全球范围带来高性能、个性化、隐私和安全等优势。混合 A

4、I 架构可以根据模型和查询需求的复杂度等因素，选择不同方式在云端和终端侧之间分配处理负载。例如，如果模型大小、提示（prompt）和生成长度小于某个限定值，并且能够提供可接受的精确度，推理即可完全在终端侧进行。如果是更复杂的任务，模型则可以跨云端和终端运行。混合 AI 还能支持模型在终端侧和云端同时运行，也就是在终端侧运行轻量版模型时，在云端并行处理完整模型的多个标记（token），并在需要时更正终端侧的处理结果。随着强大的生成式 AI 模型不断缩小，以及终端侧处理能力的持续提升，混合 AI 的潜力将会进一步增长。参数超过 10 亿的 AI 模型已经能够在手机上运行，且性能和精确度水平达到与云

5、端相似的水平。不久的将来，拥有 100 亿或更高参数的模型将能够在终端上运行。混合 AI 方式适用于几乎所有生成式 AI 应用和终端领域，包括手机、笔记本电脑、XR 头显、汽车和物联网。这一方式对推动生成式 AI 规模化扩展，满足全球企业与消费者需求至关重要。1 https:/ https:/ https:/ 2 生成式 AI 简介和当前趋势 ChatGPT 激发了人们的想象力和好奇心。自 2022 年 11 月推出后，短短两个月内其月活用户便达到 1 亿，成为有史以来增长速度最快的消费类应用和第一个杀手级的生成式 AI 应用。随着创新节奏的加快，想要紧跟生成式 AI 的发展速度，难度越来越大

6、。大型聚合网站的数据显示，目前已有超过 3,000 个可用的生成式 AI 应用和特性4。AI 正迎来大爆发时期，就像此前电视、互联网和智能手机的问世，而这仅仅是一个开始。ChatGPT 和 Stable Diffusion 等生成式 AI 模型能够基于简单的提示创作出全新的原创内容，如文本、图像、视频、音频或其他数据。这类模型正在颠覆传统的搜索、内容创作和推荐系统的方法通过从普通产业到创意产业的跨行业用例，在实用性、生产力和娱乐性方面带来显著增强。建筑师和艺术家可以探索新思路，工程师可以更高效地编写程序。几乎所有与文字、图像、视频和自动化相关的工作领域都将受益。网络搜索是生成式 AI 正在变革