2-K230 CanMV与RT-Smart的MicroPython之旅_1221_20240102141122.pdf

1、K230 CanMV 与 RT-Smart 的 MicroPython 之旅嘉楠科技AI软件总监张晓晶张晓晶多摄应用多摄应用：三摄和4K编解码场景立体视觉立体视觉：中距+近距三维感知，高精度应用更高性能更高性能：AI和CPU性能数倍提升算力利用率高算力利用率高：部分典型网络MAC利用率超70%AIAI多模态多模态：视觉/语音/OCR/翻译NMT等支持AIAI工具完备工具完备：算子完备、数百算法开源和客户易部署工具超低功耗超低功耗：适合电池类设备快速启动快速启动：毫秒级开机，百毫秒级完成AI应用双核玄铁双核玄铁C908C908 高性能RISC-V 128b Vector 高主频 TEE安全DPU

2、DPU全高清全高清3D3D深度引擎深度引擎KPUKPU第三代第三代AIAI引擎引擎VIDEOVIDEO4K4K超高清输入超高清输入 图形和显示增强 多摄和全流程加速 编解码均支持 立体视觉 高精度 高性能、高利用率 视觉+语音+Transformer图像子系统丰富：图像子系统丰富：高达3路视频输入，4K高分辨率ISP 2D/3D，能力完备功耗优：功耗优：典型场景百mW,超1T/W能效待机功耗uA级别，功耗控制CPUCPU&AIAI 算力强：算力强：双核RISCV CPU；大核1.6G主频RVV 1.0 扩展近存AI架构设计，超高利用率接口丰富：接口丰富：高速USB/SDIO/SPI低速UART

3、/I2C/GPIO/I2S特色支持音频APU/FFT集成度高、优化方案成本：集成度高、优化方案成本：支持SIP DDR，降低BOM成本11mm*11mm package（SIP）提升元素类型操作效率 增加浮点定点转换效率 加速浮点开方/倒数部分算法适配性部分算法适配性 提升寄存器Group适用范围 增加指令操作元素灵活性 提升进程切换效率软件可编程性软件可编程性 改进Mask layout机制 提升混合元素访问效率 删除复杂功能指令处理器可实现性处理器可实现性75.61545.8440.83214.7490.7040.13801020304050607080softmaxwherelayer_

4、normwithout RVV timing(ms)with RVV timing(ms)softmax算子执行效率提升5 5倍 layer_norm算子执行效率提升6 6倍 where算子执行效率提升6565倍 这三类算子在TransformerTransformer模型中经常成为影响模型推理性能的重要因素。391.154.534.529.93.88.3050100150200250300350400450warpaffline(仿射变换)media blur(中值滤波)inter(积分图计算)OpenCV算子优化数据K230+官方opencv（ms）K230+玄铁opencv（ms）war

5、paffline算子执行效率提升1313倍 media blur算子执行效率提升1414倍 inter算子执行效率提升4 4倍489.5677.3226.687.7570.215.238.5232.6163.9181.868.5384.612.714.6323.8389.371.715.6227.3232.6116.341.0212.88.113.6434.8196.1222.285.5400.012.814.00.0100.0200.0300.0400.0500.0600.0700.0800.0Mobilenet v1Mobilenet v2Resnet 18Resnet 50Squeeze

6、NetYolo V3Yolo V5sK230（EVB实测)竞品A（5T）竞品B（5T）竞品C（2T）竞品D（2.3T）数字人数字人 AI加速/个性AI开发 智能视觉/语音交互 2.5D GPU加速UI 低功耗VR/ARVR/AR 语音模型NPU量化 Vector图像拼接加速 OCR/NMT/TTS Turn-Key方案智能笔智能笔 真3D结构光人脸识别 百毫秒开门速度 uW低功耗深睡唤醒 3摄方案集成猫眼3D3D人脸门锁人脸门锁 3D支付终端 金融支付级3D识别 高分辨率三图对齐 亚像素深度信息优化3D3D人脸支付人脸支付 实时3D深度采集 三维重建 算法&真人驱动 实时模型渲染智能网络摄像机