《定陈冠中地瓜机器人RDK系列部署生成式AI模型.pdf》由会员分享,可在线阅读,更多相关《定陈冠中地瓜机器人RDK系列部署生成式AI模型.pdf(25页珍藏版)》请在三个皮匠报告上搜索。
1、DataFunSummitDataFunSummit#20242024地瓜机器人RDK系列部署生成式AI模型陈冠中 地瓜机器人算法工程师RDK系列产品介绍RDK上的模型部署RDK上LLM的技术选型RDK上LLM的实际效果演示01RDK系列产品介绍嵌入式嵌入式系统是一种专门设计用于特定任务的计算机系统。它通常被嵌入在另一个设备中,以控制、监测或执行某些特定功能。嵌入式系统通常包含一个或多个微处理器或微控制器,以及与其配套的硬件和软件。嵌入式系统可以用于各种不同的应用领域,例如汽车、家电、医疗设备、电子玩具、军事设备等等。嵌入式系统通常需要满足以下特定要求:实时性:嵌入式系统通常需要能够在严格的时
2、间限制下运行。可靠性:由于嵌入式系统通常被嵌入到其他设备中,因此其稳定性和可靠性非常重要。低功耗:嵌入式系统通常需要在低功耗模式下运行,以便延长其电池寿命或降低功耗成本。低成本:嵌入式系统通常需要在成本可控的情况下设计和制造。智能音箱边缘计算盒机器人智能会议 智慧教育智能家居 AIoT与通用机器人算法芯片工具链服务嵌入式产品介绍2022.62022.6ComputeCompute:5 Tops5 TopsCPU:4Cortex A53 1.2GDDR:2/4 GBWi-Fi:2.4GRDK X3RDK X3ComputeCompute:5 Tops5 TopsCPU:4Cortex A53 1
3、.5GDDR:2/4 GBeMMC:16/32/64 GBWi-Fi:2.4G/5GRDK X3 ModuleRDK X3 ModuleComputeCompute:10 Tops10 TopsCPU:8Cortex A55 1.5GGPU:32GflopsDDR:4/8 GBWi-Fi:2.4G/5G2023.52023.52023.72023.72024.92024.9RDK X5RDK X5ComputeCompute:5 Tops5 TopsCPU:4Cortex A53 1.8GDDR:2/4 GBWi-Fi:2.4G/5GCertification:CE/FCC/MIC/KCRDK
4、 X3 v2.0RDK X3 v2.02025202520262026ComputeCompute:20 Tops20 TopsRDK RDK?RDKRDK:Robotics Developer KitRobotics Developer KitRDK X5 MRDK X5 ModuleoduleComputeCompute:?:?CPU:?GPU+Audio?DDR:?eMMC:?Wi-Fi:?RDK系列RDK全称为 Robotics Developer Kits,即地瓜机器人开发套件(RDK)是基于地瓜智能芯片打造的机器人开发者套件,包括RDK X3、RDK X3 Module、RDK X
5、5、RDK X5 Module等。搭配TogetheROS.Bot机器人中间件,RDK套件可以帮助开发者快速搭建机器人原型,开展评测和验证工作。40PIN最大化复用拓展4G/8G RAM灵活选择CAN FD灵活连接机器人底盘和电机 HDMI更好兼容常见数据线双频wifi 6+蓝牙 5.4 极速通信多标准兼容耳机 多模应用 天线模块媲美棒状天线TypeC供电 5V/5ARDK X5 RTC精准时间同步TypeC闪连极速开发双MIPI4-Lane双目千兆网口支持POE供电Debug串口便捷调试USB3*4全高速通信公版模型尺寸类别数参数量BPU延迟BPU吞吐量后处理时间Yolov8n640 x64
6、0803.2 M5.6 ms263.6 FPS5 msYolov8s640 x6408011.2 M12.4 ms194.9 FPS5 msYolov8m640 x6408025.9 M29.9 ms35.7 FPS5 msYolov8x640 x6408068.2 M90 ms11.2 FPS5 msYolov10n640 x640806.7 G9.3 ms132.7 FPS4.5 msYolov10s640 x6408021.6 G15.8 ms71.0 FPS4.5 msYolov10m640 x6408059.1 G30.8 ms34.5 FPS4.5 msRDK X502RDK上的模
7、型部署人工智能演变史自然语言处理自然语言处理是一种人工智能领域,旨在使计算机能够像人类一样理解和生成自然语言文本。自然语言处理的研究主要关注如何使计算机理解和处理人类语言,并从中提取有用的信息或生成符合语境的语言输出。自然语言处理涉及到很多不同的任务,包括文本分类、情感分析、机器翻译、自动摘要、问答系统、命名实体识别、语言生成等。大语言模型(LLM)传统语言模型的劣势在于:局限于某一领域的知识、泛化能力差难以迁移、上下问理解有限基于transformer的大语言模型:基于海量(基本全互联网)数据进行预训练。对于特定场景的任务,只需微调适应常见:ChatGPT、文心一言、Llama、Baichu
8、an2、同义千问等地瓜工具链问题定义数据准备模型选择/开发模型训练与调优模型量化部署分析现实问题影响算法的选择、模型的评估、投入的成本选用合适的模型寻找或编写对应的模型代码减少训练好的模型计算和储存需要的技术定义数据范围:适配任务需求数据获取:下载,清洗数据预处理:预处理、增强数据集定义和切分:训练、评估、测试使用数据集在模型中训练围绕业务需求对模型目标调优模型存储、导出、推理服务的部署系统对接、指标监控地瓜工具链地瓜工具链Model Zoohttps:/ 实例分割图像分类03RDK上LLM技术选型LLM类别大语言模型(Large Language Model,LLM)主要分为两类:基于tra
9、nsformer的模型和基于循环神经网络RNN的模型。Transformer是近年来非常流行的一种神经网络架构,它在自然语言处理(NLP)任务中取得了巨大的成功。Transformer依赖于“注意力机制”(Attention Mechanism)来处理输入数据,从而更好地理解句子中各个词之间的关系。RNN(循环神经网络)是一类适用于处理序列数据的神经网络架构。RNN通过“循环”的方式在时间步之间共享信息,因此非常适合处理像文本和语音这类序列数据。早期的语言模型大多基于RNN及其改进版本(如LSTM和GRU)。RWKV语言模型RWKV模型在架构上继承了Transformer的思想,但在具体的实现
10、上做了一些重要的改进,这些改进主要体现在Time Mixing和Channel Mixing两个方面。Time Mixing:与Transformer中的自注意力机制不同,rwkv模型引入了时间混合(Time Mixing)机制。这种机制关注序列数据中时间步之间的依赖关系,通过时间混合层来捕捉时间序列中的长期依赖性。Time Mixing通过加权平均和非线性变换的方式,将不同时间步的信息进行整合,确保模型能够有效捕捉序列的全局和局部信息。Channel Mixing:Channel Mixing则是对序列中不同特征通道的处理。在Transformer中,特征通道的混合主要通过多头自注意力和前馈
11、神经网络来完成,而在rwkv模型中,Channel Mixing采用了一种更加高效的方式。通过一系列的线性变换和激活函数来对通道信息进行融合。这种方法不仅减少了计算复杂度,还保持了模型的表达能力,使其能够在处理大规模数据时更加高效。RWKV语言模型类似RNN,每次推理内部有固定大小的state,即上下文信息向量可解释性强高效并行训练,训练速度与上下文长度无关高效训练线性时间复杂度O(T),即与RNN持平transformer推理速度为O(T2)O(T)推理速度空间复杂度恒定O(1),transformer内存占用随上下文长度不断增加,即O(T2)O(1)内存占用020201010404030304RDK上LLM效果演示端侧RWKV-V5 展示端侧Llama 1B 展示云端Qwen多模态 展示DataFunSummitDataFunSummit#20242024THANKS