《量子位:2022类脑计算&神经形态计算深度产业报告(27页).pdf》由会员分享,可在线阅读,更多相关《量子位:2022类脑计算&神经形态计算深度产业报告(27页).pdf(27页珍藏版)》请在三个皮匠报告上搜索。
1、1BrainBrain-inspired Computing/Neuromorphic inspired Computing/Neuromorphic ComputingComputing类脑计算类脑计算/神经形态计算神经形态计算QbitaiQbitai Industry Insights Report Industry Insights Report 深度产业报告深度产业报告量子位硬科技深度产业报告类脑计算/神经形态计算2引言引言近年来深度神经网络(DNN)取得了令人瞩目的进步,但与人脑相比,DNN在信息处理的效率(速度和功耗)上表现仍不够好。在人脑中,信息以连续的方式快速处理,而DNN系统
2、中所处理的是一幅幅静态图像,而且计算密集。在传统DNN中,计算、存取数据时的“内存墙”问题,导致大量数据搬运中产生额外功耗以及延迟。此外,精确计算也是DNN的另一特征即便是无价值的输入,也会全部参与计算,导致计算资源浪费且计算效率低。相反,人脑中神经元以脉冲的形式进行信息传递。每当神经元发出脉冲信号时(被激活),脉冲信号会传输到所连接的神经元进行处理。若未能达到触发阈值,神经元则处于非激活状态,并且存储对过去输入的记忆,因此人脑采用的是一种稀疏的、空时域信息处理机制。人脑作为一个极度优化的系统,在高并行工作时功耗仅为20W左右大脑中约870亿个神经元高度非线性地工作,每个神经元在外部和内部都与
3、其他神经元有多达10,000个连接,在内部承载着数十万个协调的并行过程。这样庞大的网络却有如此低的能耗,使得人类大脑在处理复杂问题时具有绝对优势。如今,人工智能的发展主要依靠庞大的数据量和精确计算。在冯诺依曼架构下,庞大的数据量意味着计算机承担着频繁且大规模的运算,随之而来的就是功耗极速上升。随着各国碳中和脚步加快,高能耗甚至需要企业付出额外成本。尽管我国没有明确碳排放超标的惩罚措施,但庞大计算量产生的用电成本、维护成本就不是一般人工智能企业可以支付起的。因此,人工智能的“可持续发展”一定是建立在功耗成本可控的基础上。如何将计算机的功耗控制在合理范围内呢?借鉴人脑特性自然成为研究人员共同关注的
4、方向。相比于当前最先进的系统,模仿大脑运行机制的硬件系统具有高效和低功耗特点。模仿大脑行为的神经网络被称为神经形态网络,其代表为脉冲神经网络(SNN),也是目前类脑研究的核心。这种被称为“第三代神经网络”的出现,可以弥合神经科学与机器学习之间的鸿沟,使用神经元模型进行信息编码和计算,借鉴生物脑稀疏的、空时域信息处理机制,充分发挥神经网络的效率。模仿大脑神经结构和工作原理而创新出来的神经形态计算被称为类脑计算。欧洲的HBP(人脑计划)曾指出,“未来10-20年内,谁要引领世界经济,谁就必须在这个领域领先”。UWbWnVlYfWnXoOWYlWpYaQ9R7NnPpPnPtRfQqRoPlOmMt
5、QaQpPvMxNsRmOvPsRnO3技术篇技术篇04 概述05 脉冲神经网络06 技术生态10 研究进展12 技术难点价值篇价值篇14 直接价值16 间接价值产业篇产业篇17 行业现状19 玩家分析23 潜在商业化路径25 行业关键驱动因素目录目录量子位硬科技深度产业报告类脑计算/神经形态计算技术篇技术篇概述概述定义定义总体来说,类脑计算可分为狭义和广义两类:狭义的类脑计算是模仿大脑神经结构和工作原理而创新出来的神经形态计算(如SNN芯片设计)、SNN类脑模型、脑仿真、STDP学习方法和类脑智能应用,学术界称其为 Brain-like Computing(也称做Neuromorphic C
6、omputing)。广义的类脑计算是借鉴脑的结构和工作原理,但又不局限对脑的模拟(SNN),还包括融合传统的人工神经网络(ANN)等具有更多类脑特征的异构神经网络,是一种融合当前计算机科学和神经科学的计算发展途径,学术界称其为Brain-inspired Computing。人脑特性结构:人脑由大量神经元通过突触连接在一起,每个神经元通过接受发送脉冲、建立新的突触,从而构建起一个庞大的计算网络。工作机制:生物神经元主要由树突、轴突和胞体组成。树突负责收集其他神经元传来的信息并通过电流的形式将其传给胞体,胞体相当于一个中央处理器,树突传来的电流引起胞体膜电位变化,当膜电位超过一定阈值时,神经元将
7、发出一个脉冲信号,通过轴突传给其他神经元。只有当膜电位达到放电阈值才会激发神经脉冲传递信息,大部分的神经元在活动周期中都处于静息状态,从而实现大脑的超低功耗高效运转。4量子位硬科技深度产业报告类脑计算/神经形态计算人工智能的发展途径人工智能的发展途径当前,人工智能的发展有两个主要路径,一个是沿计算机科学发展而来的深度学习途径,另一个是沿着模仿人脑发展而来的类脑计算途径。深度学习途径这个方向的发展主要通过FPGA或ASIC方式设计芯片模块,或采用分布式存储的整体架构来提高计算的能效比和速度。架构设计主要以高效支持当前的深度学习为优化目标,通过大规模的并行计算提升计算密度,从而获得性能提升。典型代
8、表包括谷歌的TPU、Graphcore的IPU、阿里的含光800等。这类芯片通常面向特定领域的专门应用,需要大量的数据训练神经网络,其较长的设计迭代周期也增加了芯片的开发应用成本。类脑计算途径这个方向是以模拟人脑神经网络计算为基础而发展出的一种新型芯片,通过模拟神经元和突触的典型特征,如存算一体、脉冲编码、异步计算、动力学模型等特点,希望通过这些模拟从而达到更高的智能水平。典型代表包括IBM TrueNorth、Intel Loihi 和基于ARM架构发展而来的SpiNNaker。5量子位硬科技深度产业报告类脑计算/神经形态计算脉冲神经网络脉冲神经网络(SNN)(SNN)脉冲神经网络是受生物启
9、发的新一代人工神经网络,以脑科学为导向,沿着脑模拟方向发展,以0/1脉冲序列表达信息流,编码里包含了时间信息;另外,神经元内部具有动力学特征,具有事件驱动、稀疏发放等特点。类脑计算如何模仿大脑的计算机制与传统冯诺依曼架构下的计算机相比,人脑无法高效地进行精确的数值计算,但人脑的优势在于智能和高效。例如,自动忽略非必要信息,从而减少能耗;在处理信息的同时能够对其进行加工、理解、抽象和归纳。此类功能在识别物体,对视频、音频数据的理解等场景中均有体现。类脑计算就是以人脑为蓝本,实现新一代计算体系结构,主要思路是以事件触发(Event-driven)为运算机制,基于脉冲神经网络来仿真人脑,从而构造新型
10、计算系统。主要特征主要特征时序性(与ANN最大的区别)通过脉冲编码将输入信息转换成脉冲序列信号,并在信息传递过程中维持脉冲之间的时间关系。因此,神经元具有微观的记忆特性。事件驱动(事件驱动是实现稀疏计算的根本基础)SNN中的神经元不会在每个信息传递的周期都被激活,只有当神经元膜电压积累到特定的电压阈值时才会放电(发放脉冲)。神经元激活后,会发放一个脉冲信号传递给其他神经元,其他神经元会根据这个脉冲信号增加或减少膜电压。关键要素关键要素任何脉冲神经元的设计都要考虑三个问题:神经元模型,更新连接权值的机制和神经元互联结构。大脑中神经元模型与网络结构在人出生之时已基本形成,且在人的成长过程中几乎不会
11、发生大的变化。变化主要体现在成长过程中与外界环境不断交互,获取新知识并与已有知识建立联系,从而提升问题解决和环境自适应能力。基于脉冲神经网络的仿脑特性,其学习规则的构建处于次要位置,而对学习机制的模仿是脉冲神经网络发展和应用的关键。如何找到一个兼具生物合理性和计算效率的脉冲神经元模型,以及如何建立脉冲神经元模型与AI任务之间的关系,是类脑计算领域的核心问题。目前学术界和产业界对于类脑计算的探索及前沿应用主要围绕SNN及其扩展的神经网络展开,因此我们将关注聚焦在SNN上。ANN vs.SNNANN vs.SNN近10年内,深度学习在图像识别、自然语言处理、语音识别和专家系统等方面取得可以匹敌人脑
12、、甚至超越人脑的成果。但另一方面,当前的深度学习也面临诸多挑战,如需要充足的数据、完整的知识、确定的静态问题、容错性比较差等。而脉冲神经网络通过融合受生物启发的、高效的神经信息处理机制,有望实现更稳定鲁棒的信息表征、更高效节能的生物可塑性网络。深度学习网络模型和脉冲神经网络模型能够彼此形成互补。深度学习模型的计算准确率高,研究生态较完善;脉冲神经网络的鲁棒性较好,计算能效比较优。但脉冲神经网络处于刚起步阶段,算法模型还不成熟。ANNANNSNNSNN信息流神经元状态(连续状态值)脉冲序列(01脉冲序列)计算方式逐层、精确计算稀疏计算,事件驱动,时序性6技术生态技术生态技术生态概述技术生态概述类
13、脑计算的技术生态由软件和硬件两部分构成。其中软件主要包括:神经元模型、训练算法、仿真框架、数据集。硬件主要包括类脑芯片和新型存储器件和类脑系统。在软件方面,如何提升围绕SNN的生态是未来发展的必经之路,重要的方向包括完整且易操作的工具链开发、成熟的SNN训练算法、高效的时空域编码、及高规模的神经系统仿真和模拟等。硬件方面侧重于建立脑仿真平台,参照人脑神经元模型及其组织结构、神经突触特性来设计芯片。软件软件神经元模型脉冲神经网络是类脑计算的核心,对其结构基础、功能优化等方面的探索,有助于科研人员更好地认识大脑、理解生物智能的本质并以此构建新一代人工智能模型。脉冲神经网络模型最大的特点是:以具有精
14、确放电时间和事件驱动特性的脉冲作为信息计算的载体。以下是在业内影响较大的模型:神经元模型神经元模型原理原理定位定位/特点特点H-H(Hodgkin-Huxley)模型通过研究乌贼神经元细胞膜上的离子电流和电导,用等效电路模拟神经元的形成和膜电压的变化目前最接近生物神经元的模型模型复杂,难以在硬件上实现对网络的实时仿真计算成本高昂LIF模型从生物电子学的角度对生物神经元进行模拟,使用电子转移模拟生物神经系统中的离子转移目前使用最广泛的神经元模型之一目前使用最广泛的神经元模型之一Izhikevich模型使用二阶微分方程描述细胞膜的动态特性,在受到刺激后,膜电位由静息电位转变到激发脉冲状态,通过分岔
15、机制使神经元产生兴奋目前最简单的模型,且兼具H-H模型的生物真实性与LIF模型的计算效率能够仿真生物神经元最突出的20种脉冲发放模式SRM模型实质是对LIF模型的泛化,该模型也是根据神经元电压阈值来判断是否产生脉冲。不同的是LIF模型中的参数依赖于电压,SRM模型中的参数依赖于上一次输出脉冲的时间包含对于不应期的模拟更具通用性量子位硬科技深度产业报告类脑计算/神经形态计算注:不应期是指在兴奋发生后的最初一段时间内,不论施加多强的刺激也不能使细胞再次兴奋。ANNANNSNNSNN特点大量手工标记的输入数据静态数据处理不具备可解释性持续学习动态数据处理具备生物可解释性适用场景语音识别图像识别交互式
16、机器人各类对于低功耗和实时性有需求的AIoT场景高速动态视觉场景优势可模拟复杂模型,完成大规模运算准确率高生物合理性强能耗极低具备自主学习能力成本低不足高能耗、高成本训练效率低,数据依赖仅适用单一场景计算复杂度高目前能够模拟的神经元数量有限,目前仅适用小规模计算场景7训练算法类脑计算的算法核心是借鉴和学习人脑的多尺度、多类型的可塑性及神经网络结构,来完善人工智能算法。当前脉冲神经网络领域尚不存在公认的核心训练算法当前脉冲神经网络领域尚不存在公认的核心训练算法。在生物合理性及任务表现之间的权衡,以及采用不同的神经元模型和编码方式,均会造成训练算法多样化。现阶段现阶段瓶颈瓶颈:脉冲神经网络所具有的
17、离散脉冲发放机制所带来的的优势是低功耗和低延迟;然而正是由于离散的发放机制导致其无法满足连续可微的条件,也因此使得传统的神经网络训练方法无法直接用到脉冲神经网络中。解决途径解决途径:1.基于直接训练的脉冲神经网络构建方法;2.基于传统的人工神经网络训练和转换的脉冲神经网络构建方法(间接学习);3.其它方案:串联学习、以及最新的代理训练。依据训练过程中是否使用标签信息,可将脉冲神经网络算法概括地划分为有监督学习和无监督学习,有监督学习又分为间接有监督学习和直接有监督学习。在模型算法提升上,研究人员通过提供增加神经元复杂程度的技术能力,缩减神经科学与人工智能之间的鸿沟。脉冲神经网络学习算法脉冲神经
18、网络学习算法描述描述特征特征无监督STDP算法STDP学习规则根据神经元发放脉冲的先后顺序,调整神经元之间连接的强弱通过局部调整规则学习,容易在神经形态芯片上进行分布式实现,并具备在线学习功能;难以获得高性能网络,无法在大规模深度神经网络中使用基于ANN的间接有监督学习将ANN中训练好的参数转化到相同结构的SNN中;为实现近无损的ANN-SNN转换,需要对原始ANN模型进行约束,例如对网络的不同层进行归一化可扩展性强,容易将新出现的或大规模的ANN网络结构转换为相应的SNN版本;间接训练算法的特征提取步骤在ANN中完成,很难提取输入信息在时间维度上的特征,不适用于时空数据的分类;对ANN采取约
19、束会造成SNN性能下降,而且转化SNN训练时需要长时间的步长模拟,效率远低于直接训练的方式直接有监督学习采用反向传播思想,将脉冲神经元的微分方程形式转化为便于计算机模拟的差分方程形式,使其变成可微的函数表达式;同时沿空间和时间维度扩展信息,应用梯度下降算法进行参数更新可解决SNN的不可微性问题量子位硬科技深度产业报告类脑计算/神经形态计算仿真框架脉冲神经网络编程工具是帮助脉冲神经网络实现快速仿真,网络建模及学习训练的软件平台。在SNN领域,目前BindsNETBindsNET、SpyketorchSpyketorch等少数平台可以支持大规模SNN的构建与训练。此外,部分公司和研究机构也开发了自
20、己的软件框架,如英特尔的Lava、时识科技的Sinabs。搭建一个大型SNN网络对于编程者的编程能力有非常高的要求。因此,开发用户友好的编程工具对于部署大规模开发用户友好的编程工具对于部署大规模SNNSNN网络至关重要网络至关重要。数据集在类脑数据方面,如何构建具备稀疏事件特征、具备丰富的时间尺度/空间尺度特征的大规模多模态混合数据集大规模多模态混合数据集十分重要。类脑数据集目前相对匮乏,按照数据集构建方式的不同,可分为三类:第一类:实际场景采集而得的数据集实际场景采集而得的数据集通过事件相机直接拍摄,通过神经形态传感器直接捕捉而生成的无标签数据。8第二类:转换数据集转换数据集由带标签的静态图
21、像数据集通过事件相机实拍生成,此类数据集主要由已被广泛研究的、用于传统非脉冲任务的数据集转换得到,通过转换算法将ANN数据集转换为事件信号数据集。第三类:生成数据集生成数据集利用带标签的视频或图像数据集,通过算法模拟动态视觉传感器特性生成数据集。硬件硬件类脑芯片借鉴神经元信息处理机制发展类脑芯片与计算平台,能够在硬件层面将类脑计算的优势充分释放,也是各国类脑研究的重要方向之一。硬件平台的研发依托全球顶尖的研究机构,更多聚焦于创新突破,目前尚未实现大规模商业化。在过往的硬件平台研发中,从功能上可以按照是否支持学习功能分为离线学习平台和在线学习平台;从电路设计上则可分为数模混合电路平台和全数字电路
22、平台,各有优缺点。来源:脉冲神经网络研究进展综述,量子位智库整理量子位硬科技深度产业报告类脑计算/神经形态计算基于脉冲神经网络的计算模型在基于冯诺依曼架构下的硬件中很难展现其优势,只能对SNN进行仿真。因此,研究人员使用不同架构的芯片来实现脉冲神经网络。按照芯片所实现的功能,我们将类脑芯片大致分为三类:1.支持脉冲神经网络的神经形态芯片:TrueNorth、Loihi、达尔文芯片等2.支持人工&脉冲神经网络的异构融合芯片:天机芯、Loihi2、领启KA2003.支持神经元编程的脑仿真平台:SpiNNaker、BrainScaleS、领启KA200等企业企业/机构名称机构名称硬件硬件特点特点性能
23、性能斯坦福大学Neurogrid模拟电路主导利用硅晶体管的亚阈值模拟电特性实时仿真神经元离子通道的动力学行为采用事件驱动的异步数字电路数字电路进行信信息传输息传输2009年:每块板有16颗Neurocore芯片,能够支持100万个神经元和60亿个突触联结,能耗仅5W;2017年:开发新一代神经形态芯片BrainStorm,最终成果为嵌入式应用和集群服务器上的计算芯片,可以运行全脑模型9企业企业/机构名称机构名称硬件硬件特点特点性能性能苏黎世大学DYNAPs亚阈值模拟+异步电路,实现复杂生物神经元、突触模型以及脉冲神经网络;采用异构路由拓扑,兼具树形拓扑的低延迟和网络拓扑的低带宽需求单板含9块芯
24、片,单芯片含4个计算核,单核含256个神经元IBMTrueNorth数字电路主导将存储单元作为突触,计算单元作为神经元,传输单元作为轴突搭建神经芯片的原型借鉴神经元工作原理及其信息传递机制,实现了存储与计算的融合存储与计算的融合单芯片含有4096个计算核,每个计算核包括256个神经元和6.4万个突触;实验数据显示视觉识别准确率达到80%;一台笔记本完成相同任务速度比TruthNorth芯片慢100倍,但功耗是其1万倍清华大学Tianjic采用神经形态众核架构神经形态众核架构,计算核的轴突与胞体具有脉冲和非脉冲两种工作模式包含156个计算核,单核包含256个神经元浙江大学达尔文芯片类脑计算机(D
25、arwin Mouse)将792颗中国自主产权的达尔文2代类脑计算芯片集成在3台1.6米高的标准服务器机箱中,形成了一台机架式类脑计算机达尔文2采用55nmCMOS工艺,单芯片支持的神经元规模达15万个,单芯片由576个内核组成,每个内核支持256个神经元,神经突触超过1千万,通过系统级扩展,可构建千万级神经元类脑计算系统海德堡大学BrainScaleS数模混合电路采用超阈值模拟电特性进行神经元动力学仿真在晶圆上集成超大规模突触,以降低通信代价,提高计算性能2016年完成了20块晶圆、400万神经元和10亿突触的神经形态计算系统,速度比生物系统快1万倍。英特尔LoihiLoihi2数字电路异步
26、数字实现,具有层次化连接、树突计算、突触延迟、可编程可塑性规则等特性单个芯片包含128个计算核,单核包含最多1024个神经元曼彻斯特大学SpiNNaker数字电路支持多种神经元动力学模型支持多种神经元动力学模型借鉴神经元放电模式,以较少的物理连接快速传递尖峰脉冲模拟大脑中大量并行架构,同时把数十亿小量信息发送到成千上万不同的目的地2016年,这套系统有50万核,用ARM处理器搭建了一套系统,可以实时仿真4亿神经元和4000亿神经突触的神经网络量子位硬科技深度产业报告类脑计算/神经形态计算新型存储器件不同于基于传统CMOS的类脑芯片,基于新型存储器件的类脑芯片从仿生的角度出发,在器件层面模拟生物
27、的基本信息处理单元神经元和突触,在功耗、成本等方面具有显著优势,目前仍处在探索阶段。传统器件的问题传统器件的问题:基于硅基材料的类脑芯片相较于传统的AI加速器芯片在功耗上有了很大提升,但其效能依然远不及人脑IBM的TrueNorth芯片中,平均需要5000个晶体管才能模拟一个神经元,而Intel的Loihi芯片更是需要1.6万个晶体管才能模拟一个神经元,这大大增加了类脑芯片的设计难度。解决途径解决途径:研发新型材料忆阻器。忆阻器在电信号的刺激下,器件电阻可以动态地发生变化,并且这种变化在电信号撤去后依然存在(非易失性)。忆阻器的阻变物理机制可以模仿神经元生物突触和神经元的神经动力学特性,因此基
28、于忆阻阵列的神经形态计算极具潜力。10忆阻器忆阻器忆阻器结构简单、集成密度高,理论上一个忆阻器就可以实现一个神经突触的功能,可极大的提升突触密度,是从硬件层面实现类脑神经网络的高效方式之一。对于忆阻材料,由于其可以仿真神经突触之间的突触强度,可一定程度简化神经元网络设计,但在算法层面上要研发更匹配的神经网络模型。常见的忆阻器可以分为阻变忆阻材料(RRAM)、磁性忆阻材料(MRAM)、相变忆阻材料(PCRM)和其他新型忆阻材料等。目前,热门的研究方向集中在RRAM和MRAM,其中已有公司在做RRAM的商业落地。基于此,分析师认为RRAM有望率先走向技术成熟,并实现商业化转变。研究进展研究进展(部
29、分展示)(部分展示)国内国内1.清华大学类脑计算类脑计算清华大学类脑研究中心在2014年开始探索脉冲神经网络与深度学习的融合,清华大学研究团队认为将这两类模型融合实现优势互补,能够发展出更好更优的算法模型。在此背景下,清华大学于2019,2020和2021年连续在Nature上发表文章,分别从架构、软件编译和算法模型三个方面进行研究。首篇论文讲述的是异构融合架构的类脑芯片设计(天机芯),如何在架构层面支持ANN和SNN的融合;第二篇论文讲述的是类脑编译软件系统架构,提出了类脑计算完备性;第三篇论文是在自然通讯发表的类脑算法文章,首次融合了全局学习和本地学习的融合算法,为类脑融合算法模型的训练和
30、在线学习机制提供支撑。新型忆阻器新型忆阻器钱鹤、吴华强团队从新型阻变机理出发,首次提出了具有优良模拟阻变特性的新一代神经形态器件拓扑相变忆阻器(TPT-RAM),该器件独特的扩散-非易失双模态工作特性模拟人脑中突触发育的过程,并在训练中演示神经网络剪枝,实验结果表明减少了约84.2%的冗余突触,同时将手写数字图像识别准确率提高到99%。量子位硬科技深度产业报告类脑计算/神经形态计算2.中科院中科院成立了中国科学院脑科学与智能技术卓越创新中心,由神经科学研究所、自动化研究所等机构共建,深入融合脑与神经科学、认知科学、人工智能、计算机科学等不同领域的研究。对于类脑智能的规划,从基础的神经形态器件到
31、类脑智能的各个层次展开工作,从最底层的神经形态器件平台,到利用神经形态器件构造的类脑处理器,到在类脑处理器的基础上构建类脑计算系统,以及在计算机上开展类脑智能研究,实现视听感知、自主学习、自然会话等。来源:北京市科委专项规划图,量子位智库整理11国外国外1.IBMIBM历时10年研发出类脑芯片,美国DARPA从2008年开始资助IBM研发面向智能处理的脉冲神经网络芯片。特点特点:对照人类大脑皮层构建电子系统,这个电子系统无论从神经元、神经突触,还是在规模、密度上都要与人类大脑皮层相当。唯一不同的是功耗,人类大脑的功耗在20W左右,而IBM的电子系统初期设计目标是1000W。为了实现这个目标,I
32、BM最初使用超级计算机做模拟,但超算的结构体系和人脑神经网络的结构不匹配,如果想要达到同等功能会消耗巨大的能量。因此,用超算来做类脑计算可以用于实验研究,但不适合做最终的落地平台。基于此,研究人员开始研发专门的类脑芯片。目前,IBM团队进入基于TrueNorth芯片的算法搭载和应用开发阶段。2.德国海德堡大学德国海德堡大学BrainScales得到了欧洲HBP(人类大脑计划)的支持。这套系统计划将在2022年实现由5000个晶圆,模拟50亿神经元和1300亿神经突触功能组层的硬件系统。特点特点:比生物系统快一万倍,直接利用类似集成电路的方法实现硬件。3.曼彻斯特大学曼彻斯特大学SpiNNake
33、r系统的重点在于整个系统的体系结构。2018年,SpiNNaker升级到100万个处理器核心和1200块互连电路板,有能力同时执行200万亿次运算。特点特点:神经元、神经突触的互连结构,并提出一种新的结构模型。此外,由于其神经元的计算是在ARM处理器上完成,所以它是可编程的,能够根据不同的需要实现复杂度不同的神经网络。4.英特尔英特尔的PohoikiSprings 是一个数据中心机架式系统,是英特尔迄今为止开发的最大的神经形态计算系统。特点特点:在五个机箱内集成了768个Loihi神经形态芯片。Pohoiki Springs拥有1亿个神经元,将Loihi的神经容量提高到小型哺乳动物大脑的大小。
34、此外,英特尔最小的神经形态系统KapohoBay包含两个具有262,000个神经元的Loihi芯片,支持各种实时边缘工作。量子位硬科技深度产业报告类脑计算/神经形态计算科研环境对比科研环境对比在类脑智能研究上,欧美国家具备先发优势。欧洲瑞士苏黎世联邦理工学院和苏黎世大学在1995年联合成立的神经信息研究所(INI),覆盖了从动物行为学,脑解剖三维模型,到类脑算法,再到类脑芯片设计,以及应用侧无人机、机器人等的研究,具备从基础科学到应用科学的完整研究体系。美国麻省理工学院的脑、机器人中心和斯坦福大学的心智、脑与计算研究中心,前者主要研究方向为感知学习、推理、神经计算;后者集成理论、计算和实验研究
35、的方法,致力于研究感知、理解、思维、感受、决策的脑神经信息处理机制。中国相比于欧美国家在交叉学科上成熟、完整的科研体系,我国的类脑研究发展时间较晚(2014年左右),但随着中科院类脑智能研究中心、清华大学类脑计算研究中心、北京大学脑科学与类脑研究中心等一批科研院所的成立,促进了中国类脑智能的发展。12技术难点技术难点神经科学与人工智能的融合有待进一步突破神经科学与人工智能的融合有待进一步突破在人工智能的技术实现上,分析师基于四个主要技术难点进行解释,并结合学术界(日内瓦大学)的发展给出了四类技术在5年、10年内的发展预测。1.大脑信息处理的数学原理与计算模型神经网络架构是类脑研发的基础。当前遇
36、到的问题是网络的拓扑结构、大小和确切性差异很大,尚不清楚网络应该建多大,以及必须有多少互连才能展示出更好的生物特性。为了更好地进行类脑研究,需要更扎实的理论基础、计算神经科学的概念改进以及更好的大脑运作机制模型。2.类脑计算过程的硬件模拟基于硬件的类脑计算过程模拟,在类脑器件、芯片和体系结构方面仍面临重要挑战。新型纳米器件尚存在工艺稳定性差、规模化难度高等问题,类脑器件和材料需要新的技术突破。此外,类脑系统需要数以百亿的神经元协同工作,而现有类脑芯片硬件资源有限,难以实现大规模神经元互连集成和神经元脉冲信息高效实时传输。如何突破现有计算系统架构,建立类脑的新型体系结构和计算方式,仍需探索。3.
37、类脑的学习机制与算法大脑的结构与其执行的算法密不可分,这对于类脑计算研究有两方面影响:1)由于算法在神经形态的计算机网络结构中实现,顺序编程的思想不适用,需要以一种新的范式进行计算;2)架构(硬件)的选择会影响在每个实例上运行的算法范围。在底层,越接近硅计算,机器就越灵活且可编程;模拟和物理信息越多,架构所固定的算法就越多。神经形态计算的硬件特异性限制了算法的灵活性,因此需要标准化算法的实现方式。5年10年目标目标:绘制和模拟动物大脑结构和子结构基于啮齿动物(大鼠、蝙蝠)和昆虫(蜜蜂)的大脑以及海马和内嗅皮层(昆虫的导航复合体)形成神经元架构;帮助研究人员理解、建模和编写实际可用的算法;新兴的
38、神经形态技术成熟,如受嗅觉启发的化学传感器。应用方向应用方向:传感器可以部署在小型自主家用机器人中。目标目标:类脑计算提供有用的技术在机器人赛道里有望形成一个基于类脑技术的完整解决方案,具体场景如下:1)基于对人类和动物伸手及抓握的理解,机器人可以在日常环境中对物体进行定向动作,如抓握和操纵物体的机械臂,看护老人和病人,帮助家庭和工厂车间做维护工作;2)支持机器人在复杂的室内和室外环境中灵活移动,在危险/复杂环境中执行检查任务;3)3D视觉使人工系统能够与人类进行基于手势和注视的多种交互模式。10年目标目标:类动物脑学习成为可能创建人工神经元和突触网络,允许通过基于预测模型的强化和自我监督学习
39、相结合的自主学习,由片上的神经元网络支持。自主系统形成自己的行为,并能够根据行为做出决策和执行动作。5年目标目标:掌握学习和记忆的元素研究人员掌握如何使用受生物启发的局部学习规则来学习有用的任务或形成短期记忆。量子位硬科技深度产业报告类脑计算/神经形态计算135年目标目标:多感官处理得到强化集合了触觉、嗅觉等多感官的智能信号,应用可覆盖:1)可拉伸、智能、大型电子皮肤;2)低功耗和低延迟的3D视觉、运动检测器;嗅觉传感器和化学传感器,用于电场和气流的传感器;3)通过增强智能信号处理,有效提取任务相关信息并将其集成到多模态中。10年目标目标:神经形态计算在边缘设备中成为主流神经形态计算成为嵌入式
40、AI的主要计算架构AI与感知信号和运动控制协同工作,以及人机交互和物理世界中的计算,包括大规模仿真。传统计算机将仅用于存储和处理“老式”数据;计算将分布在超边缘(智能设备)、边缘(个人台式机)和云(服务器)之间,通过超高速和高性能的离线网络支持。4.尚未形成通用的基准测试标准目前为止,尚未出现能够展示类脑计算潜力的“杀手级应用”,也没有公认的通用标准来衡量该领域或单个设备的进展情况。而通用标准往往是一个产业实现规模化发展的前提,因此建立基准测试对于类脑的有序发展十分重要。对于类脑计算来讲,实时性和低功耗是重要的判断因素;同时,能够避免与深度学习算法产生竞争。此外,类脑计算的另一个重要特征是进行
41、快速、实时且独立的感官处理,而不是依赖基于云的数据中心。5年目标目标:标准化的基准测试出现届时,研究人员能够在模拟器和标准硬件平台的使用上达成一致。10年目标目标:基准测试加速商业化现实世界的基准测试加速商业化进程,对于语音识别等任务,逐渐开始优于传统算法。目前目前观测大脑的手段单一观测大脑的手段单一大脑活动的新型观测与调控技术当前研究依然存在大脑观测模态与调控手段单一、观测信息局部、对脑功能认知缺乏、脑调控与观测无法同步等问题。建立兼具全脑认知与局部反应的信息获取的新型大脑观测手段和同步调控技术,仍面临重要挑战。根据国内学者预测,人脑神经网络精细图谱有望在20年内完成。量子位硬科技深度产业报
42、告类脑计算/神经形态计算14价值篇价值篇从产业落地产业落地的角度讲,模仿人脑的价值在于解决目前人工智能在信息处理和计算模式上遇到的困境,为实现通用人工智能奠定基础。因此,在这个层面,更多是以计算机科学为主导,着眼于应用侧的实际需求,给到市场一个完整的解决方案。此外,类脑计算除替代市场中的同类解决方案,在行为意图等检测方面具备优势,可以使现有终端设备更加智能。从科研价值科研价值看,类脑计算技术最终是服务于人类健康,其深层的价值是推进脑科学,特别是脑疾病的研究和成果落地。综上,产业侧的价值因其直接作用于产品且服务对象为终端用户,分析师将其归纳为直接价值。科研价值的直接体现是在脑科学/医学上的突破,
43、类脑计算则作为一种工具赋能基础研究;因此,分析师将其归纳为间接价值。直接价值直接价值应用应用根据业内人士描述,类脑智能的发展将会经历运算智能-感知智能-认知智能-自主智能四个阶段。最终实现的自主智能是指具有进化能力的自主智能体,即拥有自主学习自主进化、意识等高层次智能。当前类脑智能处于运算智能和感知智能交接的部分。分析师根据类脑智能的发展阶段,分别列举了不同阶段中类脑智能所体现的应用价值。量子位硬科技深度产业报告类脑计算/神经形态计算运算智能运算智能移动终端设备在移动终端设备中,智能软件的使用占据其大部分计算资源,其中涉及大量图像处理、文本处理、音频处理等。多数应用程序所需的处理能力要高于手机
44、目前所具备的。因此,手机在信息处理中需要通过调用数据中心的处理能力来提供服务。这种方式存在以下几个明显的问题:处理能力容易受到网络连接状态的限制响应速度取决于服务器的速度云端处理涉及隐私安全问题目前,终端设备中所使用的芯片可用来处理一些边缘类AI应用,如人脸识别、语音识别等;但对于较大规模、复杂的并行任务,芯片的处理能力有限。此外,由于电池的限制,嵌入式设备所能提供的额外处理能力也有限。而类脑计算芯片凭借其实时、高效且低功耗的特点,能够在移动设备中发挥价值。应用场景应用场景:低功耗的常开(always-on)功能,保证移动设备和可穿戴设备长时间处于工作状态而不用充电;低功耗实时定位与地图构建(
45、SLAM),赋能AR/VR设备;快速变化的动态检测,突出监控场景中目标区域的变化,进一步减少分析所需的数据量,从而保证物联网设备的实时互连。端侧离线信息处理低维(一维)信息处理:直接在端侧接入传感器做信息处理,具有实时性和低功耗的特征。场景场景:语音识别,心电、脑电和肌电检测,智慧楼宇中的玻璃破碎检测代表公司代表公司:时识科技,Aspinity感知智能感知智能15事件驱动视觉传感(Event based vision)目前市面上使用的多为基于帧的传感技术,传统相机每秒拍摄一定数量的照片,通常为30帧/秒,所记录的信息逐帧发送。尽管是相同的静态背景,传感器中的像素都会同步记录。神经拟态视觉传感器
46、(也称事件驱动视觉传感器),通过模拟人眼视网膜和大脑工作原理,重新设计像素,使其仅在动态场景中记录,并通过连续的信息流捕获信息。传统基于帧的相机存在以下三个的问题:视觉系统需要处理大量无用数据,产生大量电力浪费;基于帧的成像方法会造成对于场景中移动部分的采样不足,在某些场景中会因动态画面捕捉不到位而产生问题。例如,在自动驾驶的目标物检测中,传统相机在较远的距离下,可能将等红绿灯的行人判断为静止物,进而影响到驾驶决策;传统视觉传感器在实验室和室外光照强烈两种环境下,算法的表现差异非常大,在室外多变的环境中,算法的准确率下降明显。相比之下,神经拟态视觉传感器优势:相比之下,神经拟态视觉传感器优势:
47、摒弃静态画面重复处理以稀疏事件流的形式输出视觉信号,事件流中不包含静态背景中的任何信息。由于仅传输像素点的亮度变化不需要用于像素读取的模数转换器,从而避免大量冗余数据的传输。大多数事件相机功耗约在10mW级,甚至有些相机原型的功耗低于10W。提升算法表现力基于事件驱动的视觉传感器具有高动态范围和场景的对数采样特性,使其计算决策不受外界环境的影响。同样是自动驾驶场景,基于事件的视觉传感器的感知方式,不论在强光还是弱光环境中都不会发生变化,因此在高动态范围的场景中能够保持决策的准确性。细微动作捕捉基于事件的传感器能够获取时间信息,意味着在高速动态的场景中,依旧能够捕捉到细微的动作变化。其背后原理为
48、:事件相机通过检测像素点处的对比度/亮度变化时发出信号,且对亮度变化的响应速度极快。因此,事件相机可以捕捉到高速运动且不会受到运动模糊的影响。事件相机输出的是在时间上连续的,以像素为单位的数据流,根据场景的变换相应生成和输出。事件相机仅记录动态信息的特性使其非常适合捕捉细微的动态变化,而这恰恰是传统相机无法做到的。成本低针对视觉领域多个物体的识别、分类、跟踪以及光流相关的任务,都可以通过类脑处理器来实现,但后者的功耗会比传统的处理器降低几百甚至上千倍(毫瓦级功耗),且成本也可以控制在几美元以内。典型场景典型场景:手势识别,如智能家居和公共场合非接触显示器的交互汽车高速避障,如自主打轮系统或者自
49、主避障系统相关的高速识别工业视觉,如高速运转平台上的部件实时识别;安全监测等代表公司代表公司:Prophesee触觉感知特点:特点:对于视觉来讲,大部分时候依靠两只眼睛感知,感知维度和感知源是有限的。相比之下,触觉没有特定的器官专门来感知,触觉感知遍布在人体表皮,甚至身体内部也有触觉“传感器”。量子位硬科技深度产业报告类脑计算/神经形态计算16因此,触觉涉及多维(接触觉、压觉、滑觉、温湿觉、力矩觉等)和多模块的协同感知,通常要考量7-10个物理变量和数以百计的传感器模块。仅模拟人手就需要近百个传感器模块才能实现人手所具备的类似功能。此外,不同于视觉、听觉的集中式传感,触觉的分布式传感需要多模块
50、组合的拼接式皮肤传感器,不同模块的芯片之间需要形成协同的分布式传感网络架构,而SNN算法具有异步事件驱动的特点,非常适合处理分布式触觉网络的异步触觉事件。因此,基于SNN的分布式类脑触觉网络架构的支撑算法及硬件技术,是触觉传感器走向产业化的关键。对于视觉和听觉来讲,信息传导的过程为:接受到信号,首先通知大脑做计算,再进行决策控制;触觉感知有一部分信号和视觉听觉是一样的,但大部分触觉的感知和执行需要同步完成,决策过程则在传感器前端通过神经元完成。其难点在于需要触觉传感单元具备感知、计算和执行的完整能力,并且有快速的前端决策能力。典型应用典型应用:机器人灵巧手代表公司代表公司:他山科技认知认知-自
51、主自主智能智能自适应机器人神经形态机器人遵循三个主要阶段:使用事件驱动传感器开发机器人视觉感知,将感知与控制联系起来做系统验证和SNN电机控制;研究人员开始研发基于SNN的感知、认知和行为模型,尝试在神经形态平台上实现这些模型;协调DNN与SNN,并直接开发用于运动控制的脉冲神经网络模型,将来能够在神经形态硬件上实现。自适应机器人是很多类脑公司想要实现的长期目标,但目前距离商业化较远,主要由于其对于硬件的极高要求,如需要多模态感知融合;此外还涉及大量机械原理和材料上的创新。由此可见,单靠类脑公司目前的技术无法完成整个自适应机器人研发。分析师认为,未来类脑公司更有可能作为解决方案提供商,在计算或
52、感知部分为OEM提供更具实时性和低功耗的解决方案,加速自主智能机器人的规模化落地。应用应用:工业机器人、服务机器人、特种机器人等各类智能机器人领域量子位硬科技深度产业报告类脑计算/神经形态计算间接价值间接价值科研科研神经科学现有困境脑科学领域的研究,经常会使用动物进行实体实验,单纯通过医学途径去了解大脑中的神经元、神经脉冲等功能结构和信息传递机制等。尽管结果直观,但也存在着弊端:伦理层面上,需要平衡动物保护与动物实验之间的关系;技术层面上,由于动物个体的差异性等因素,存在实验成本高、结果难复现等问题。类脑计算的价值体现借助由类脑计算芯片构建的类脑服务器以及类脑计算集群,未来有望模拟十亿、百亿甚
53、至千亿级神经元规模的生物脑网络活动。通过类脑计算实现的大规模脑仿真,能够大幅降低脑科学领域实验成本,提升大规模生物脑仿真的速度,同时其可复现的特点也能够保证实验结果的客观准确。应用领域应用领域:脑机接口,脑疾病病理探究,药物测试17产业篇产业篇在产业侧,我们发现类脑相关公司的核心是找到可落地的技术,而可落地技术的首要目标是解决应用场景中所面临的紧迫问题,同时类脑的价值又能够通过赋能应用得以充分展现。具体来讲,类脑企业首先考虑的是模仿哪些大脑功能可以在应用侧给出优于当前产品性能且研发成本可控的优势点。首先借鉴大脑的部分需要是脑科学研究中已经明确的发现,且经过实验验证;其次利用这项技术需要在工业界
54、证明其价值(测试/实际性能有指数级提升)。而在学术界,类脑的研究空间非常大,涉及神经科学、计算机科学、医学等一系列交叉学科融合;主要通过与政府或大型企业主导的类脑项目合作,重点聚焦搭建大规模脑仿真平台。行业现状行业现状目前,类脑智能的发展处在商业化前期。根据我们的调研,在前期阶段,商业化公司瞄准的均是端侧/边缘类市场,其中主要有两个方向:感知类芯片和计算类芯片。整体来看,做类脑计算(处理器)的公司要多于类脑感知(传感器)的公司,国内专注类脑研究的公司和创新转化平台3-5家左右,其中灵汐科技已在去年实现量产,时识科技也将在今年年底或明年实现量产出货。海外的类脑公司集中在欧洲和美国,公司数量略多于
55、中国。在商业化进程上,国内外都处在探索阶段。从融资轮次看,类脑公司集中在A轮前后。值得注意的是,Brainchip是类脑领域唯一的上市公司,其商业化发展依旧伴随较强的不确定性。其余商业化公司目前以产品销售作为主要盈利来源,产品包含硬件和配套软件工具。Brainchip股价长期低迷,侧面反应出类脑的商业价值在二级市场上受到争议,当下最迫切的是在市场中证明自身产品的实际性能和价格优势。Brainchip作为一家初步实现量产的公司,在商业化道路上并不顺利,外界对于公司的担忧主要在于产品是否能够规模化地进入市场,从而在营收方面有质的飞跃。据外媒报道,Brainchip一直难以有可观的营业收入(Brai
56、nchip去年营收仅160万美元),这可能与Brainchip的产品在性能上并没有呈现出明显优势有关。据悉,Brainchip的市值为12亿美元,去年研发费用为910万美元(较前一年上涨43%),占公司市值的1.2%;2021财年公司亏损2100万美元。在生态建设方面,业内的主力是大型半导体企业。英特尔在去年发布第二代类脑计算芯片Loihi2,以及与之配套的软件框架Lava。英特尔目前并不急于商业化,更多是面向研究机构建立开放平台。例如,英特尔与高校合作,以类脑研究人员为主要目标群体建立生态,提供硬件和软件框架(有资料显示硬件和软件均免费),旨在将研究人员纳入到Loihi+Lava的生态系统中
57、进行应用开发。生态分布生态分布目前在类脑领域,国内外总共有3家左右实现初步量产。分析师将上游总结为硬件制造商、IP授权方及类脑公司的商业化伙伴。其中,我们观察到国内的类脑公司选择的多为国产芯片制造商。分析师将中游划分为类脑研发机构与商业化公司;下游则是类脑当前已经展开合作与布局的应用领域。量子位硬科技深度产业报告类脑计算/神经形态计算18传统芯片制造商传统芯片制造商商业化伙伴商业化伙伴新型忆阻器研发新型忆阻器研发其他:类脑公司之间相互合作上游IPIP授权授权研究机构研究机构类脑类脑感知感知公司公司大型半导体公司大型半导体公司创业公司创业公司类脑计算公司类脑计算公司大型半导体公司大型半导体公司创
58、业公司创业公司汽车电子汽车电子医疗健康医疗健康智能安防智能安防无人机无人机智能家居智能家居/家电家电下游中游(指共同研发一项技术或双方进行技术融合)量子位硬科技深度产业报告类脑计算/神经形态计算19公司公司成立成立时间时间融资融资轮次轮次核心技术核心技术/研发优研发优势势产品产品/服务服务应用场景应用场景合作方合作方灵汐科技2018A+采用存算一体、众核并行的架构,支持深度学习神经网络、脉冲神经网络和大规模脑仿真领启领启KA200KA200(类脑芯片处理器):众核并行、存算一体HM100HM100(类脑计算模组):一款基于KA200开发的高度集成化模组,适用于嵌入式系统和边缘系统HP300HP
59、300(类脑计算加速卡):为云端/边缘端的推理提供算力支撑,搭载3颗类脑芯片领启 KA200类脑计算服务器类脑计算服务器(SL800)LynOSLynOS:自主研发的端云一体类脑软件开发平台,包括软件工具链、驱动、SDK、集群支持软件、debug工具箱等脑仿真和脑科学;类脑计算空时信息处理;深度学习网络处理新氦类脑科技、东方中科、鹏城实验室.时识科技2017Pre B感算一体,采用DYNAP-CNN类脑处理器内核,集成33万脉冲神经元,神经元集成度提升30-40倍,支持复杂深度脉冲神经网络,系统感算功耗低于1mW“感算一体”动态视觉智能“感算一体”动态视觉智能SoC SpeckSoC Spec
60、k:基于异步逻辑范式的大规模脉冲卷积神经网络(sCNN)芯片架构DYNAPDYNAP:动态视觉专用处理器XYLOXYLO:基于脉冲神经网络、超低功耗(0.1mW)、always-on低维度信号专用AI处理器物联网设备、边缘计算设备、生理信号监测、智能玩具、智能家具设备、智能驾舱、自动驾驶、工业设备异常检测、机器人、无人机、可穿戴设备、智能安防、SLAMProphesee、索尼、宝马、能斯达电子、鸿雁、中电海康他山科技2017Pre A+分布式类脑触感芯片架构;分区分级的脉冲神经网络算法架构分布式类触感芯片分布式类触感芯片:基于SNN的数模混合AI触感芯片以及产业化应用解决方案智能座舱、自动驾驶
61、的人机交互;3C家电;机器人电子皮肤奔驰、宝马、方太、特斯联、好孩子芯盟科技2018A轮HITOC技术:混合键合集成电路制造工艺超高性能异构类脑AI芯片类人感知与决策应用场景爱普科技优智创芯2021天使+非完美信息环境下的普适性场景提取算法;基于因果关系的脉冲神经网络“结构生长算法”;非完美信息决策的强化学习算法框架思辨思辨1 1号通用类脑推理芯片:号通用类脑推理芯片:8核“友替”处理器+AI加速+CLAS因果学习算法,功耗不高于2瓦,同时可计算100万个神经元“硅脑”全自主无人系统平台:“硅脑”全自主无人系统平台:内嵌自主研发的CLAS因果学习算法系统和类脑芯片,利用小样本识别算法、全自主实
62、时路径规划算法和全自主决策算法,实现环境感知、环境认知、类脑决策等功能,目前推出全自主无人飞行类脑计算盒子K50/K51汽车电子;工业控制;无人驾驶、无人机、机器人;元宇宙、AIGC流马锐驰、鲲鹏智汇中科类脑2017A+轮小样本学习、电力3D场景仿真、基于学习的分割算法等类脑智能嗅觉传感器类脑智能嗅觉传感器:由基于MEMS技术的8种微型传感器组合而成类脑视频分析主机类脑视频分析主机:集成电力场景的类脑识别算法,提供AI分析服务变电/输电运维/中国玩家玩家分析玩家分析量子位硬科技深度产业报告类脑计算/神经形态计算20公司公司成立时成立时间间融资融资轮次轮次核心技术核心技术/研发优研发优势势产品产
63、品/服务服务应用场景应用场景合作方合作方新氦类脑智能2017A轮脉冲神经网络算法研发非冯诺依曼芯片架构及IP脉冲神经网络芯片架构及IP技术转化服务:技术转化服务:前沿IP库资源、产业链资源AIoT壁仞科技、默沙东灵译脑科学(MIND NOVA)2019/拥有原创性的脑科学基础理论、大脑破译技术及研究平台与实验基地类脑芯片系统类脑芯片系统:打造从类视网膜到类脑芯片的类脑软硬件融合系统大脑破译技术大脑破译技术:深入研究大脑神经网络与脉冲编码机理,为类脑认知与意识提供统一的理论框架自动驾驶/深思创芯2017A轮稀疏量化共享技术:利用参数的稀疏性进行量化和共享处理DeepBrainDeepBrain
64、SS3301SS3301:神经形态芯片Neuroid X SS3201Neuroid X SS3201:异构神经形态芯片Neuroid X SS3101Neuroid X SS3101:多核神经形态芯片,仿照人脑神经系统的功能与拓扑设计Neuroid X SS3100Neuroid X SS3100:单核神经形态芯片,仿照人脑神经元设计的功能设计多模态感知与信息处理;构建类脑计算系统;人脑研究/深聪智能2018A轮开发了专门为语音功能定制的智能语音AI芯片第三代芯片将是1bit类脑芯片、存算一体化智能家居智能办公智能车载美的外国玩家公司公司成立时成立时间间融资融资技术特点技术特点产品产品/服务
65、服务应用场景应用场景合作合作Innatera2018种子轮神经形态模式识别:专有数模混合架构处理器处理器:大规模并行的神经突触阵列、脉冲编码和解码器语音识别生命体征监测消费/物联网/Brainchip2004澳股上市分布式计算:每个NPU都有专用计算和内存,减少数据移动基于事件处理:NPU基于事件驱动基于事件的通信:通过mesh网络发送事件,无需CPU介入基于事件的学习:片上学习算法AkidaAkida(神经拟态处理器)(神经拟态处理器):具有同时处理多传感器模式、片上一次性学习、基于事件的学习、云独立等功能MetaTFMetaTF:用于神经网络的创建、训练和测试,支持在Brainchip 的
66、 Akida上开发边缘AI系统智能汽车智能家居工业物联网Edge Impluse、Prophesee、奔驰.IBM/上市公司支持横向扩展和纵向扩展端到端立体视觉系统,使用脉神经冲网络计算TrueNorthTrueNorth:采用三星28nm技术,芯片具有100万个神经元和2.56亿个突触手势识别;情绪识别;光流;图像分类和目标跟踪;实时时空感觉信息处理美国陆军研究实验室、美国空军研究实验室、劳伦斯利弗莫尔国家实验室、三星量子位硬科技深度产业报告类脑计算/神经形态计算21公司公司成立时成立时间间融资融资技术特点技术特点产品产品/服务服务应用场景应用场景合作合作英特尔/上市公司可编程性可通过深度学
67、习进行训练的新型神经网络与现实世界的机器人系统、传统处理器和新型传感器无缝集成LoihiLoihi 2 2(第二代神经形态研究芯片):架构能够支持新类别的神经启发算法和应用程序,同时提供高达10倍的处理速度,高达15倍的资源密度Lava Lava 软件框架软件框架:满足了神经拟态研究社区对通用软件框架的需求。Lava能够在跨越传统和神经拟态处理器的异构架构上无缝运行机械臂神经形态皮肤嗅觉感知系统INRCINRC首批企业成员:埃森哲、空客、通用电气、日立2020年新加入:联想、罗技、奔驰、Prophesee.GrAI Matter Labs2016A+轮高精度(16 位浮点)处理以提供高质量内容
68、;动态数据流以利用数据的稀疏性;神经形态设计思路以提高效率;存内计算以降低功耗和延迟NeuronFlowNeuronFlow:稀疏处理;高精度数据流架构,可实现高效的细颗粒度并行计算GrAI VIPGrAI VIP:一种SOC,集成了神经元引擎 GrAICoreGraiFlowGraiFlow SDKSDK:兼容常用的ML框架、TensorFlow 和 PyTorch,以实现自定义模型;同时提供预训练模型的数据库工业机器人无人机/PROPHESEE 2014C轮基于事件的动态视觉信息采集METAVISIONMETAVISION视觉传感器:视觉传感器:第四代动态视觉传感器由Prophesee与索
69、尼合作开发,结合索尼的CMOS图像传感器技术与Prophesee独特的基于事件的Metavision传感技术METAVISIONMETAVISION智能套件智能套件:包含95 种算法、67 个代码示例和 11 个即用型应用程序;开源软件充分挖掘硬件潜力,体现性能优势移动终端AR/VR设备机器人无人机智能座舱智能驾驶智能家居工业物联网SONY、Intel、时识科技、Brainchip、iCatchGeneral Vision1987/NeuroMem IP:是一种认知记忆架构,可对输入模式做出反应,并且具备仿脑特性NM500NM500神经形态芯片神经形态芯片:每个神经元都与逻辑硬件连接以实现应用
70、程序NeuroPiNeuroPi:用于评估NM500上的应用程序NepesNepes EdgeEdge:基于Raspberry Pi 的人工智能开发平台,可以在不需要网络环境的设备上进行实时训练和推断工厂监控物体识别缺陷检测Pisces Fish MachineryAspinity2015A轮对Analog ML进行编程:允许工程师在analogML内核上构建、编译和加载特定于应用程序的模拟机器学习模型。RAMP:全球首个可编程模拟神经形态处理器AML100AML100:完全在模拟域内运行的微型机器学习(ML)解决方案AMLAML评估套件评估套件端到端硬件/软件套件,用于评估AML100 的功
71、率和检测精度声学事件检测套件声学事件检测套件(EVK1):适用于电池供电的智能家居设备语音检测声学事件检测震动监测意法半导体、英飞凌量子位硬科技深度产业报告类脑计算/神经形态计算22公司公司成立时成立时间间融资融资技术特点技术特点产品产品应用场景应用场景合作合作Applied Brain Research2014股权融资NengoNengo:神经形态编译器,用于构建和模拟用于人工智能、机器人和神经科学用途的大规模神经模型Legendre Memory Unit(LMU)Legendre Memory Unit(LMU):专有循环神经网络架构,可实现对时变信号更低功耗和更准确的处理边缘时间序列处
72、理器边缘时间序列处理器(TSP)(TSP):在边缘侧处理时间序列数据NengoEdgeNengoEdge:使用 Legendre 内存单元,提供可证明的时间序列数据。此外,NengoEdge 使用一种称为硬件感知训练的技术来微调模型以适应不同的边缘硬件平台语音识别、自然语言理解;异常检测;模式识别;机器磨损检测英特尔、NBEL应用趋势应用趋势根据对现有玩家的分析,我们认为类脑解决方案首先从低维度信息处理和高速视觉处理开始,主要面向端侧可穿戴设备、摄像头和终端设备。在此基础上,将加入在复杂环境中的实时决策能力,对应场景为无人机和自动驾驶。随着类脑技术(大规模并行计算、自主学习等)和类脑产业的成熟
73、,在更长的维度上,类脑的应用场景将覆盖数据中心以及自主机器人。此外,类脑芯片由于其低功耗的特征,非常适合人体植入(可植入式疾病治疗)、脑机接口等应用领域。玩家分类玩家分类目前,类脑计算领域的竞争主要集中在神经形态计算系统及软件框架的开发上。根据我们的调研,同时具备神经形态硬件和软件开发能力的公司/机构主要有三类:第一类:由政府组织的“脑计划”项目案例:欧盟的HBP中包含神经形态硬件以及软件工具,这类项目的目标群要研究学者和开发人员。量子位硬科技深度产业报告类脑计算/神经形态计算脑机接口脑机接口23第二类:大型半导体公司案例:英特尔同时具备开发硬件和软件的能力,并能够基于此建立起自己的神经形态研
74、究社区INRC。INRC的主要目的:1.加速研究:借助英特尔的神经拟态计算系统,INRC成员拥有开发和测试概念验证的工具,以协作推进神经拟态计算发展。2.启用商业化程序:INRC通过开发、原型设计和扩展基于英特尔神经拟态系统的应用程序来加速神经拟态技术的商业化进程。3.开放式基准测试:随着神经形态计算向商业化方向发展,英特尔INRC致力于设定基准,以开放、协作的方式衡量该技术的价值。第三类:类脑领域的头部创业公司案例:时识科技、Prophesee。该类企业都是各自细分领域的头部玩家,通过硬件+软件的模式,且部分公司对软件部分进行开源及免费下载,以此来吸引细分领域的开发者和研究人员。当用户习惯和
75、用户基数培养起后,便能以此形成自己的生态护城河。玩家特征玩家特征据业内人士表示,类脑智能目前正处在从运算智能到感知智能的阶段。反应在市场上的表现为,类脑领域的创业公司多数在做与感知相关的落地产品,如动态视觉传感器和触觉传感器。在处理器方面,创业公司多数选择做基于动态视觉的处理器。整体来看,神经形态视觉传感器(基于事件驱动的视觉传感器)和神经形态处理器可以很好地形成互补。因此,这两类企业目前可以形成良好的合作关系,如时识科技与Prophesee。(时识科技的处理器是专门为大多数基于事件的图像传感器而设计)。在触觉传感器领域,国内的他山科技基于SNN做分布式类脑触感芯片;国外新加坡国立大学团队利用
76、英特尔的 Loihi神经形态研究芯片处理来自人造皮肤的感官数据。国内外对比国内外对比按照地域分布,类脑智能公司主要分布在北美、欧洲及中国三大地区。其中,欧洲和美国的类脑玩家有两类,一类是以大型公司或政府大型项目主导的类脑硬件设备提供商(包含了配套软件),以研究和建立生态为首要目的;另一类是前文所述的创业型公司,以商业化为首要目的。在中国,未出现大型公司主导类脑计算研究的情况,但灵汐科技在战略目标上与英特尔、SpiNNaker(ARM架构)一致,希望成为新一代算力基础设施提供商。不同于国外的是,灵汐科技成立于2018年,在成立年限上属于创业公司范畴,但其研发早在2013年清华大学成立类脑研究中心
77、时便开始。其余的类脑公司则与国外的类脑创业公司在技术和应用市场上均呈现出相似性。潜在商业化潜在商业化路径路径分析师基于目前市场上正在尝试或未来打算商业化的产品和解决方案,总结出两种商业化方向:量子位硬科技深度产业报告类脑计算/神经形态计算基于事件驱动特性的产品(传感类)基于事件驱动特性的产品(传感类)24利用事件驱动特性做技术开发的主要是创业公司,分析师认为基于事件驱动的产品最有可能率先实现商业化落地。一方面因为事件驱动特性能够解决AI细分市场当前面临的迫切问题能耗高;另一方面,事件驱动的技术成熟度更高,已有公司开发出完整的解决方案。挑战挑战应用场景局限:在复杂场景中还存在工程问题,如完善的硬
78、件架构等。如何解决如何解决要想充分发挥类脑的优势,要通过类脑芯片来支撑算法,所以需要去实现一个可硬件友好的算法从应用出发,提高算法与硬件的适配度。对于创业公司来讲,在最终产品里,不仅需要将类脑的优势发挥出来,更重要的是将类脑技术与其他技术进行融合,使产品在性能上至少有两到三个量级的提升。基于此,我们发现目前市面上的头部玩家均提供软件+硬件的全栈式解决方案,包括可满足特定应用需求的定制硬件和软件配置。此外,软件部分能够兼容目前的编程语言。例如,时识科技的Samna,核心逻辑全部为C+编写,对外提供一套Python接口。对于创业公司来讲,短期内做出成熟硬件的难度非常大,因此有公司选择与面向同类市场
79、的传统大型企业合作开发硬件产品,如Prophesee与索尼合作开发的第四代视觉传感器。这样以来,既保证了产品的可靠性,又能够与业内传统大厂建立稳定的合作关系。大规模并行计算硬件平台(计算类大规模并行计算硬件平台(计算类)目标目标用少量甚至单个电子器件模仿单个神经元的功能,将数量巨大的电子“神经元”以类脑的方式形成大规模并行处理网络。挑战挑战大规模并行计算涉及电路层面的重新设计,以及新型器件的研发。电路设计中,需要实现存算一体架构设计;器件层面,更优的选择是忆阻器(因其更符合生物特性),而忆阻器目前尚未达到商用标准,仍处在攻克技术难题的阶段,如解决材料不稳定的问题。如何解决如何解决在底层的基础研
80、究上,目前全世界都在试图对大脑运作机理做深入还原。在脑科学的基础研究中,主要由各国政府牵头。根据我们的调研,欧盟政府发起的HBP已将欧洲最大的两个具备大规模计算能力的硬件平台SpiNNaker和BrainScales,纳入到类脑研究实验室中,并以此建立起类脑的研究生态,鼓励学者和研究机构基于两大硬件平台以及其搭建的软件平台来做类脑相关开发。企业层面,英特尔的 Loihi 和 IBM 的 TrueNorth也主要围绕大规模计算平台进行研发。存算一体架构目前大型半导体厂商都有所布局,如台积电、三星。初创企业中,国内外也都有实现量产的公司。基于存算一体架构的芯片发展成熟后,能够进一步推动类脑计算的发
81、展。忆阻器目前处于发展初期,国内外都处于实验室阶段。忆阻器领域的主要研发企业有:惠普、IBM、英特尔、AMD、东芝、富士通、夏普,三星、SK海力士,德州仪器(TI)、华邦电子等。国内忆阻器的探索目前主要集中于理论层面和计算机仿真,主要研究机构有清华大学、华中科技大学、中科院微电子所等。商业化阻碍商业化阻碍对于创业公司客户替换成本高客户替换成本高量子位硬科技深度产业报告类脑计算/神经形态计算25芯片行业的发展是围绕产品建立庞大生态的过程,努力将需求方都汇聚到自身生态中,在生态内进行产品的不断迭代。对于芯片领域的客户,一旦对某个生态形成依赖,其他厂家想要做替代的成本/难度将会非常高(仅从技术和市场
82、角度出发)。类脑在产品化过程中,由于其底层逻辑(高度仿脑)与现有计算机的逻辑存在根本差异,导致其融合过程的难度增加。类脑的商业化依靠多领域的创新类脑的商业化依靠多领域的创新对于类脑芯片公司来讲,类脑的价值能够充分发挥,建立在多项基础科学的突破和交叉融合之上,如新型器件需要材料的创新,算法的有效性建立在神经科学的突破上。而初创公司缺乏相应的资源和资金进行多领域的交叉融合。对于大型半导体公司与主营业务冲突(部分)与主营业务冲突(部分)大型企业如英特尔的主营业务为CPU,类脑计算平台从功能的角度看,一定程度与其现有核心业务之间存在竞争关系。大型企业在创新技术的战略上,往往会采用提前布局研发,但不急于
83、商业转化,等到前沿技术在市场上得到充分验证后,再进行商业化。研发支持来源不同研发支持来源不同大型企业不选择进行商业化也可能与研发这项技术的目的有关。典型案例是IBM的TrueNorth项目,其主要服务于美国军方部门,研发投入来自政府资金,而不是靠商业化盈利。在这种情况下其研发资金有充足保障,在投资方撤资前,这项技术通常不会将商业化纳入考虑范围。行业关键驱动因素行业关键驱动因素据我们的调研,目前类脑领域的发展主要有两种驱动方式:1.在产业侧,由科研成果转化平台和类脑领域头部公司主导进行产业生态建设,目前尚处在起步阶段。2.在科研侧,由政府主导的大型项目,针对类脑的各个层次进行产学研结合,推动相关
84、基础科学的进步。生态建设生态建设由于类脑的发展比深度学习晚了40年,目前围绕类脑的研究人员和开发者数量有限,这也是限制类脑智能规模化发展的因素之一。如果没有形成广泛的开发者社区,类脑相关产品和解决方案的发展速度将受到限制成熟的硬件离不开软件和算法的同步发展。反之,算法的有效性也需要在类脑芯片上进行验证。因此分析师认为构建起围绕类脑计算的生态是其商业落地的关键。软件方面部分公司会免费提供软件套件,方便开发者在其生态系统内基于脉冲神经网络进行应用开发和验证。正如前文所述,类脑计算领域目前尚不存在公认的核心算法,因此企业通常在软件上选择开放的态度,将研究人员聚合在平台内进行算法开发、迭代,加快类脑算
85、法及应用的发展。硬件方面业内公司表明希望将自身硬件打造为通用的类脑芯片平台,允许客户二次开发。研究人员可以将自己开发的类脑算法放到芯片里进行验证。在国内,时识科技与武汉大学合作,允许学生基于时识的类脑平台做眼动识别、声纹识别等应用开发。在国外,IBM等公司会将自己的硬件设备免费提供给科研机构,在触觉感知、嗅觉感知等领域进行应用开发。总体而言,国外的生态建设更加成熟且开发者在类脑研究上的参与度更高。截止2020年,英特尔INRC中已有超过100名成员。此外,Prophesee的开发社区目前已有超过5000名活跃的开发者,然而中国开发者的占比非常有限。因此,国内在下一步发展中需要更加注重开发者生态
86、建设,将开发者作为自己的“种子用户”,在更开放的平台中吸引更多研究人员和工程师来共同构建围绕类脑技术的社区。量子位硬科技深度产业报告类脑计算/神经形态计算26政策驱动政策驱动各国现有政策国家国家计划计划目标目标/定位定位类脑相关成果类脑相关成果美国BRAIN Initiative加深对人类思维内在运作机理的研究,并改善当前治疗、预防和治愈大脑疾病的方式MICrONS:将神经科学和数据科学结合起来,通过揭示脑皮层如何在中尺度上执行计算来发展机器学习BossDB:通过 MICrONS 开发的信息系统,部署支持BRAIN Initiative,以公开托管各种大规模的神经科学成像数据集欧盟Human
87、Brain Project神经形态计算:从中期来看,期望神经形态技术能够比传统计算机更有效地为智能手机等设备提供语音和图像识别功能从长远来看,使用神经形态技术将低功耗的智能认知集成到自动驾驶汽车、家用机器人等消费类产品中SpiNNaker和BrainScales两个系统都集成到HBP实验室中,并为其配置、操作和数据分析提供完整的软件支持EBRAINS:分布式数字基础设施目前主要用于推进三项神经科学领域的研究:1)大脑网络和连通性的多尺度研究;2)网络在认知和意识基础过程中的作用;3)受大脑启发的人工神经网络、神经机器人以及神经形态处理器神经机器人平台NRP:开放访问和开源的仿真框架NEURON
88、:用于对单个神经元和神经元网络进行建模的模拟环境PyNN:一种独立于模拟器的语言,用于构建神经网络模型。PyNN 提供了一个标准神经元、突触和突触可塑性模型库,这些模型已经过验证,可以支持在不同的模拟器上以相同的方式工作。PyNN 还提供了一组常用的连接算法,能够为用户提供在独立仿真器下的连接日本Brain/MINDS研究方向:狨猴大脑的结构和功能映射脑映射创新神经技术开发人脑测绘和临床研究数据集:围绕狨猴的脑图谱、核磁共振、前额叶皮层连接结构、基因图谱、钙成像、皮层电路数据集3D狨猴大脑图谱中国2030“脑科学与类脑研究”三个方向:原理研究:认知功能的神经基础重大脑疾病诊断和诊疗方法脑机智能
89、技术:脑机接口、类脑研究中国脑计划项目于2021年正式启动。2021年度申请项目围绕脑认知原理解析、认知障碍相关重大脑疾病发病机理与干预技术、类脑计算与脑机智能技术及应用、儿童青少年脑智发育、技术平台建设5个方面发展态势美国、欧盟和日本在脑计划上的起步时间早于中国5-10年。在类脑智能的研究上,程度由大到小依次为美国/欧盟-中国-日本。欧盟的HBP中与类脑计算相关的部分比重最大,同时将SpiNNaker和BrainScales两大类脑硬件平台纳入到实验室中,用以发展类脑智能技术且期望将其发展为可规模落地的应用型技术。美国的BRAIN Initiative尽管在类脑智能上的投入不多,但也在积极扩
90、充神经科学相关数据集,可能在未来弥补类脑数据集匮乏的短板。而日本的MINDS计划中,研究组通过AI赋能动物实验。中国的脑计划面向更广的范围,包括对于认知功能的神经基础进行探索的基础研究,建立脑疾病诊断与干预方法的应用研究,还包括用脑科学来启发计算方法与设备的开发。中国脑计划的目标一方面在于推动脑科学等基础研究的发展,另一方面也将利用研究成果来满足社会层面的需求。量子位硬科技深度产业报告类脑计算/神经形态计算27产学研合作方面,美国联邦政府机构(NIH、DARPA、IARPA 等)主导类脑智能的基础与应用研究,大学、私营机构和企业等重点在技术开发和产品推广。值得注意的是,美国在对于大脑本身的研究
91、投入上远超过其在类脑计算的研究。欧盟“人类大脑计划”分为核心项目和合作项目两类。核心项目由欧盟委员会资助,但由于 2019 年起欧盟不会在一个单独的研究项目中投入10亿欧元,部分计划可能因为资金短缺而无法顺利进行下去,合作项目则通过吸引相关的机构、非政府组织参与。日本相关研究旨在通过融合灵长类动物多种神经技术的研究,弥补曾经利用啮齿类动物研究人类神经生理机制的缺陷;并开发用于绘制大脑图谱的创新型神经技术。中国脑计划2021年度项目概算为31亿元左右,所有项目的期限均为5年。猕猴接管神经联接图谱、脑图谱大数据分析建模、抑郁症研究、脑机交互计算融合研究平台、非人灵长类动物模型平台、全脑介观神经联接图谱绘制等有望成为近期的重点项目。量子位硬科技深度产业报告类脑计算/神经形态计算