008-郑魁.pdf

1、Imagination GPU and Risc-V Enable Industrialisation and Eco-InnovationZ,Director of ProductImaginationSpeaker:The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective,and by a large margin.”Rich Sutton|The bi

2、tter lesson从70年的人工智能研究中可以得出的最大教训是，利用计算的通用方法最终是最有效的，而且差距非常大。AI playbook now requires efficiently scaling edge compute and at the same time driving de-fragmentation of architectures and solutions.AI at the edge will have to be developed in accordance with the tenets of the Bitter lesson in order to le

3、verage advances in foundation model capabilities in language,speech,video,autonomy,health etc.How should it be done?最终通用计算方法：最终通用计算方法：基础模型基础模型+开放软件生态系统开放软件生态系统Foundation Models传统的端侧架构传统的端侧架构Spend area on Domain Specific Accelerators under a dark silicon assumption to target acceleration-level KPIs将资

4、源投入到特定领域加速器上，以实现加速水平的关键绩效指标（KPI）将多Spend area saved on multiple Domain Specific Accelerators on enhancing the energy-efficiency of most general-purpose accelerators and computing cores将多个特定领域加速器节省下来的面积用于提高大多数通用加速器和计算内核的能效新的系统架构理念新的系统架构理念对于边缘能源效率需要整体方法对于边缘能源效率需要整体方法Thermal managementGamingUISecurityFu

5、SaAutonomyBrowserCryptoWirelessAIAI推理只是拼图的一部分推理只是拼图的一部分其中部分或全部需要有效加速，并与用户体验完美融合其中部分或全部需要有效加速，并与用户体验完美融合BandwidthPeak TOPSTOPS/Watt“Inner KPIS”人工智能安全自主性硬件功能安全机密计算加密加速数以百万计的车辆、商店和工厂数十亿人、设备用于游戏的AI用于神经渲染AI AR/VR向量数据向量相似性RAG知识图谱知识图谱图形图形设备上学习设备上学习混合云边缘混合云边缘安全安全边缘计算解决方案边缘计算解决方案优化基础模型+低精度张量加速+图形编译和显式内存管理+用于

6、图形和计算/人工智能的双用途SRAM+通过降低电压和时钟速度提高能效。+更多的灵活性+更广泛的张量操作菜单+支持向量相似性操作+更好地支持即时执行和动态张量形状+更快的编译器和映射器+为70亿以上参数模型重新架构+支持设备上的微调放弃一定的放弃一定的PPA,获得更好的灵活性获得更好的灵活性消耗一些面积，获得最佳性能、功耗消耗一些面积，获得最佳性能、功耗和面积比（和面积比（PPA），并扩展加速能力。），并扩展加速能力。传统 NPU 起点传统 GPU，CPU 起点优化基础模型时代