1、 产品管理副总裁 1白皮书By Dennis Laudick VP of Product Management 产品管理副总裁2025年4月AI处理器的真正本质 产品管理副总裁 2围绕AI存在许多困惑和炒作。如今，科技行业的几乎每一项服务、产品或领域都被贴上了AI的标签。其中许多确实是合理的，毫无疑问，AI正在为各行各业带来新的能力和更高的生产力。然而，在太多情况下，与AI的关联可能是牵强的，甚至在最糟糕的情况下完全具有误导性。本文对AI及其相关硬件选项进行了分类，特别聚焦于设备端（即边缘）AI，为读者提供了实用的背景知识，帮助大家更好地理解聚焦AI的新一波热潮（有时是炒作）。AI处理器的真正

2、本质 产品管理副总裁 3你所说的AI是什么意思？虽然在半导体行业中，AI这个词还处于相对初期的阶段，但这项技术已经足够先进，对其进行细分是有帮助的。理解一些基本的AI概念包括：云端AI：当计算发生在设备之外的数据中心或远程桌面时。前沿的AI算法（有时称为基础模型）通常首先在云端诞生，且云端依然托管着最复杂的AI应用，即最准确和高性能的生成式AI工具。这些应用通常涉及高度复杂性，并且对计算资源的需求超出了单一设备或个人电脑所能提供的范围。边缘AI：当AI算法在云端环境中被证明是可行的，它们通常会进入一个优化阶段，这个阶段旨在减少算法的计算需求，同时保持可接受的准确性水平。这一阶段的结果就是边缘A

3、I：一种可以在资源受限（无论是功耗、内存还是成本方面）的设备上实际运行的算法，比如手机、汽车、无人机或相机。边缘AI的应用范围非常广泛，从高度优化的生成式AI或大型语言模型到用于计算机视觉的卷积神经网络（CNN），甚至是可以用来学习像手表电池消耗模式这样简单事物的小型网络。AI训练：是创建AI模型以满足特定用例的初始过程。几乎所有方法都涉及到构建大量“节点”形成复杂的矩阵关系（或网络），然后通过它传递大量的样本数据进行“训练”，例如，让模型处理100万张猫的图片，以便让它“学习”在这个模型中猫的样子。训练通常由数据科学家在云端环境中完成，而且往往涉及极其庞大的数据量和数据处理工作（例如，据报道

4、ChatGPT-4的训练成本超过了1亿美元）。近年来，轻量级训练也可以在边缘进行，以支持私人设备上的AI。每百次查询对应的设备功耗小语言模型大语言模型AI处理器的真正本质 产品管理副总裁 4AI推理：比训练要简单得多，且计算成本低得多。它是将新的激励输入预训练模型并要求其执行任务的过程。在猫识别的例子中，你将一张新图片传入模型，它只是给出图片中有猫的概率。大多数边缘AI（以及一般意义上的AI）都是推理。不断演化的AI模型和技术生命周期仅仅十年前，卷积神经网络（CNN）在AI领域风靡一时，并完成了在计算机科学领域此前认为极其困难的事情，比如，在图片中识别猫！然而，通过使用CNN和循环神经网络（R

5、NN），语音识别和图像识别现在已经实现了超过99%的准确率，之后技术人员和学者们将他们的注意力转向了资源优化。几乎每周都会有大量文章介绍人们如何以原先1/10、1/100甚至1/1000的功耗和处理能力实现相同的功能和准确性。这一过程贯穿了整个技术历史。重大突破通常最初是昂贵的，但一旦证明可行，它们就可以随着时间的推移被优化，以更少的资源实现相同的结果。这种能力飞跃和资源优化的循环将会永远重复下去。在CNN之后不久，Transformer模型出现并革新了生成式AI；此后，扩散模型也作为一种对生成任务极具潜力的解决方案出现。这些较新的模型现在正在被优化以更高效地运行，既为了节省云AI用例的运营成

6、本，也为了使它们能够在边缘的各种设备上运行。AI模型领域仍处于早期阶段，并持续定期带来惊人的突破。Input layerOutput layerHidden layer 1Hidden layer 2Hidden layer 3AI处理器的真正本质 产品管理副总裁 5通用AI硬件现在我们对AI的一些理论概念有了大致了解，让我们开始讨论运行它所需的硬件。首先我们需要回顾“前AI”时代的计算方式以及不同类型通用处理器的演变。顺序处理 传统上，计算是在所谓的标量或顺序处理器上完成的最常见的是中央处理器（CPU）。简单来说，这些处理器执行一个动作，完成后继续下一个动作。它们非常易于理解，几乎可以用于任