3-NXP_20240102144359.pdf

《3-NXP_20240102144359.pdf》由会员分享，可在线阅读，更多相关《3-NXP_20240102144359.pdf（30页珍藏版）》请在三个皮匠报告上搜索。

1、PUBLICNXP,THE NXP LOGO AND NXP SECURE CONNECTIONS FOR A SMARTER WORLD ARE TRADEMARKS OF NXP B.V.ALL OTHER PRODUCT OR SERVICE NAMES ARE THE PROPERTY OF THEIR RESPECTIVE OWNERS.2023 NXP B.V.2 0 2 3 年年 1 2 月月牛晓东 Magicoe Niu恩智浦MCU系统与应用工程师基于恩智浦基于恩智浦MCX微控微控制器的机器学习制器的机器学习以及以及RTT支持更新支持更新11PUBLIC目录目录机器学习及应用示

2、例具有机器学习功能的恩智浦微控制器恩智浦机器学习开发工具恩智浦基于RTT的BSP更新汇总2PUBLIC机器学习及应用示例3PUBLIC什么是机器学习什么是机器学习（ML)机器模仿人类智能行为的能力人工智能的一个分支,是实现人工智能的一个途径专注于使用数据和算法来模仿人类的学习方式，并逐渐提高其准确性机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法，包括监督学习，无监督学习，强化学习等等是一门跨学科理论：计算机，人工智能，概率论，统计学，逼近论，凸分析，计算复杂性等计算机科学家Tom M.Mitchell给出的被广泛引用的、更正式定义：A computer prog

3、ram is said to learn from experience E with respect to some class of tasks T and performance measure P,if its performance at tasks in T,as measured by P,improves with experience E特征提取特征提取+归类归类输入输出4PUBLIC机器学习的应用场景机器学习的应用场景自然语言处理语音和手写识别搜索引擎数据挖掘计算机视觉游戏和机器人自动驾驶船舶/飞机识别生物特征识别医学诊断DNA序列测序检测信用卡欺诈证券市场分析增强现实/元

4、宇宙异常检测工厂自动化0101110010110111 1100101101001000123你好！5PUBLIC恩智浦微控制器恩智浦微控制器深度学习的常见应用深度学习的常见应用单据/表格异常样本检测异常样本检测质量质量/性质评性质评估估异常网络流量分析单据结果分析低频传感器/仪表测控运动类型分类运动类型分类异常震动检测异常震动检测波形去噪波形分类控制决策语音和声音唤醒词检测唤醒词检测语音口令分类语音口令分类声音去噪单源检测话音定向增强图片与图表图片与图表图像分类图像分类(固固定个类别数定个类别数)人脸人脸ID物体检测物体检测(分类分类+定位定位)实例计数实例计数图像处理(去噪,美化,超分)像

5、素分类(语义分割)序列到序列(更多借助云)语音识别语音合成机器翻译对话系统NXP垂直应用解决方案说明：6PUBLIC具有机器学习功能的恩智浦微控制器7PUBLICLPC55(S)6X 产品介绍内核平台内核平台 双核双核双核：双核：150MHz Cortex-M33-大核：TrustZone,MPU,FPU,SIMD协处理器协处理器Coprocessors-DSP 加速器 PowerQuad-加解密引擎 Casper多重矩阵总线存储器存储器256KB/630KB FLASH(额外10kB用于PFR区域)144KB/320KB RAMROM定时器定时器5 x 32b TimersSCTimer/P

6、WMMulti-Rate TimerOS Timer窗口看门狗定时器RTCMicro Timer外设接口外设接口高速USB，集成PHY支持主从模式全速USB，集成PHY支持主从模式，无需外部晶振SDIO,支持两个片选1 路高速SPI接口，时钟可达50MHz8 x Flexcomm 最多支持 8x SPI,8x I2C,8x UART,4x I2S(双工)高阶安全子系统高阶安全子系统受保护的Flash区域(PFR)AES-256硬件加解密引擎SHA-2SRAM PUF 用于生成和保护密钥PRINCE 加密Flash，边解密边执行安全调试身份认证 RNG模拟模拟16位ADC,16通道,1MSPS模

7、拟比较器温度传感器封装封装HLQFP100VFBGA98HTQFP64其他其他可编程逻辑单元降压型 DC-DC工作电压:1.8 到 3.6V 工作温度:-40 到 105 CSCTimer/PWMRTC5 x 32b TimersWindowed WDTMulti-Rate TimerMicro Timer内核平台内核平台定时器定时器FLASH640KBProgrammable Logic Unit6 input,8 output存储器存储器RAM320KBROM安全启动代码可编程特色可编程特色OS Event Timer8 x Flexcomm支持 UART,SPI,I2C,I2S外设接口外

8、设接口50MHz HS LSPI安全安全 DMA0时钟发生器时钟发生器OSCs,System PLL,USB PLL,Clock Out电源控制单元电源控制单元单 Vdd 电源供电,POR,BOD,低功耗模式 DCDC converter安全安全 DMA1系统单元系统单元1x ADC 16位 1MSPS模拟模拟1x 模拟比较器温度传感器温度传感器安全安全AES-256SRAM PUF安全调试安全调试PFRSHA2PRINCETrue RNG128bitUUIDCRC全速全速USB+PHY高速高速USB+PHYSDIOArm Cortex-M33主频 150 MHzTrustZoneMPUFPU

9、SIMDDSP 加速器加速器PowerQuad加解密引擎加解密引擎CASPER精简的精简的Arm Cortex-M33 主频150 MHz8PUBLICPOWERQUAD内部集成的硬件资源内部集成的硬件资源4个单精度的浮点MAC计算单元可直接处理32位单精度浮点数可并行执行两个计算线程(每个线程使用2个MAC)众多独立的数据传输接口:协处理器指令接口AHB系统主机接口AHB系统从机接口内部私有内存访问接口内部主要集成专用计算引擎:Math引擎-激活函数Matrix引擎-NN的权连接FIR滤波器引擎-卷积,这也是CNN(卷积神经网络)的典型计算FFT变换引擎-音频数据9PUBLICLPC55S6

10、9上的机器学习示例上的机器学习示例物体识别物体识别Fashion classification in 21msUse the same AI inference technology of eIQ for i.MX RT,very simplified CNN密码游戏密码游戏(KWS)TCN model by PowerQuadAudio data frame in 16ms,handled in each iteration of NN in 3ms人脸检测人脸检测Super small SSD，89ms1 0PUBLIC800+MHzPremium600MHz Balanced500MHz

11、EntryCortex-M7,32K/32K L1512KB SRAM8/16-bit EMI(SDRAM/SRAM)LCD/CSI/2D accelerationStandard SecurityCortex-M7,32K/32K L1Cortex-M4,16K/16K L12MB SRAMTSN MACMIPI CSI/DSI/2D accelerationAutomotive,SecurityCortex-M7,16K/16K L1256KB SRAM16-bit EMI(SDRAM/SRAM)Standard SecurityENET,CAN,USBCortex-M7,32K/32K

12、L11MB SRAM8/16-bit EMI(SDRAM/SRAM)LCD/CSI/2D accelerationStandard SecurityCortex-M7,16K/16K L1128KB SRAMFlex SPIStandard SecurityUSBRT1060+4MB QSPI FlashCortex-M7,16K/8K L1128KB SRAMFlex SPIStandard SecurityUSBi.MX RT1050i.MX RT1020i.MX RT1015i.MX RT1060i.MX RT1064201720182019i.MX RT1010i.MX RT11702

13、02020212022Cortex-M7,32K/32K L1Cortex-M4,16K/16K L11MB SRAMMIPI CSI/DSI/2D accelerationSecurityExtended Industriali.MX RT1160Cortex-M7,32K/32K L1Cortex-M33,16K/16K L11.5MB SRAM w/ECCTSN Switch&MultiprotocolEdgeLock Secure EnclaveExtended Industrial,Automotivei.MX RT1180AnnouncementRT1020+4MB QSPI Fl

14、ashi.MX RT1024Family Expansion(225 BGA)Increased GPIOsExtended Temperature RangeSmall package footprints(169 BGA)i.MX RT1060i.MX RT10402023i.MX RT 跨界跨界MCU1 1PUBLICI.MX RT跨界跨界MCU上的机器学习示例上的机器学习示例人脸识别人脸识别RT1060:时间 300ms (64x64)手势识别手势识别RT117H：Hand detection:150ms，Hand landmark:530ms能识别11种手势，包括：数字1到5，点赞，

15、OK,等人脸检测人脸检测Super small SSDRT1060:13ms带有有活跃体检测和防欺带有有活跃体检测和防欺骗功能的人脸识别方案骗功能的人脸识别方案（SLN-VIZNAS-IOT）RT106FVGA(640 x480):范围：0.3 1.4米，检测时间 100ms QVGA（320 x240):范围：0.3 0.7米，检测时间 80ms 1 2PUBLICI.MX RT跨界跨界MCU 上的机器学习示例上的机器学习示例数人头数人头SSD 模型多类物体检测多类物体检测检测时间 200ms手写数字识别手写数字识别RT1060:=10ms物体十分类物体十分类RT1060:=30ms疟疾感染

16、分类疟疾感染分类RT1060:30ms石头剪刀布石头剪刀布RT1060:80ms语音口令语音口令RT1060:25ms1 3PUBLICOPENARTOpenART 基于MCU平台AI学习，开发套件q Python开发环境推理tflite模型文件q 支持OpenMV视觉库，LVGL Python接口q 支持 RT1060/1170 EVK 硬件平台,支持第三方硬件(逐飞OpenART-mini)q 与第三方联合推广AI教学套件，广泛应用于全国大学生智能车竞赛，并与多个高校合作配套教材用于MCU平台的AI教学OpenART MCU side softwareeIQ Portal3rd party

17、 toolingeIQ model tool.tflite fileTerminal,text editor,or OpenMV IDEPython API bindings(for exported features like NN)OpenMVRT-Thread RTOSLVGLSDK adaption layertrainedmodel.glow ELF loadereIQ GLOWGLOW bundleBundle to executable elf.glow elf file eIQ toolsConfig&mux managerMCUX SDK(RT1060,RT1170)Micr

18、opython language runtimePreliminary,experimentalSE contributionNXP software3rd partyOther supporting libraries and facilitiesTFLm w/CMSIS-NN optimizationAdditional drivers 开源代码：https:/ 4PUBLICMCX N 系列系列多核设计通过将工作负载智能高效地分配到模拟和数字外围设备，提高了系统性能并降低了功耗主要特色主要特色双Cortex-M33内核，主频150+MHz高达 2MB 的闪存，带可选的全 ECC RAM加

19、速器 神经处理单元（NPU），Smart DMA,PowerQuad协处理器CoolFlux DSP(Power Line Comm)第三方支持丰富的外围设备EdgeLock 安全子系统1 5PUBLICMCX N 新一代机器学习加速器 神经处理单元（NPU）Arm Cortex-M33NPUq 专为微控制器发挥作用而设计专为微控制器发挥作用而设计q 与单独使用 CPU 内核相比机器学习的吞吐量提高多达 30 倍q 为资源和功耗受限的边缘设备扩展 TinyML 功能q 由NXP的eIQ 机器学习软件开发环境提供支持AI通过 MCX NPU加速机器学习操作PointwiseConvolution

20、CONV2D(3x3 with Pad)DepthwiseCONV2D(3x3)1 6PUBLICMCXN9XX上的机器学习示例上的机器学习示例人脸追踪风扇人脸追踪风扇NPU引擎加速，检测时间21ms使用创新的微型YOLOv3风格网络架构视觉模型检测人脸，PID算法跟踪人脸，控制双电机执行LCD屏幕实时显示检测到的物体多人检测多人检测NPU引擎加速，检测时间24ms使用创新的微型YOLOv3风格网络架构LCD屏幕实时显示检测到的人体异常检测异常检测MPU6050震动检测SVM 算法支持少量数据的设备上训练(on-device training）多脸检测多脸检测NPU引擎加速，检测时间22ms（

21、YOLOv3),7ms(SSD)LCD屏幕实时显示检测到的人体物体识别物体识别-Fashion classificationNPU引擎加速,检测时间8ms物体识别物体识别 物体十分类物体十分类(CIFAR10)NPU引擎加速，检测时间8ms1 7PUBLIC恩智浦机器学习开发工具1 8PUBLICeIQ 机器学习软件开发环境机器学习软件开发环境恩智浦 eIQ 机器学习软件机器学习软件提供一系列开发工具、实用程序和库，用于在恩智浦微控制器（MCU）和应用处理器（MPU）上构建机器学习应用eIQ 机器学习软件机器学习软件可以用作用户现有流程的一部分，也可以用于整个流程，具体取决于目标机器学习应用程

22、序用户可以从其现有流程中使用外部首选工具和实用程序，并根据需要利用或多或少的 eIQ 工具包典型的机器学习应用程序开发流程1 9PUBLICVISIONPIPELINE VOICE/AUDIOPIPELINEANOMALY(TIME SERIES)PIPELINEeIQ Pipelines嵌入式开发嵌入式开发人员人员机器学习专家机器学习专家数据科学家数据科学家自带模型工作流程自带模型工作流程自带数据工作流程自带数据工作流程Arm Cortex-A,GPU,DSP,NPUeIQ inference withArm Cortex-M,DSP,NPUDeepViewRT在在 EdgeVerse 处理

23、器上运行的应用程序处理器上运行的应用程序eIQ PortaleIQ inferenceData CurationModel SelectionModel Training,Optimization,QuantizationModel ValidationTFLiteDeepViewRTeIQ ToolkiteIQ 市场市场eIQ 机器学习软件开发环境机器学习软件开发环境TFLite-MicroGlowGlow恩智浦和恩智浦生态系统合恩智浦和恩智浦生态系统合作伙伴的解决方案和服务作伙伴的解决方案和服务 机器学习应用程序 优化模型 优化工具和模块 开发工具 数据集 训练 传感器解决方案.2 0PU

24、BLIC2 1PUBLIC恩智浦基于RTT的BSP更新汇总2 2PUBLIC2023年基于年基于NXP MCU和和RT-THREAD的活动的活动2 3PUBLIC褚仕成RT-Thread社区开发者NXP嵌入式软件见习工程师https:/ RTduinoRTduino ArduinoArduino生态兼容层在NXP LPC55s69NXP LPC55s69平台的应用2 4PUBLIC2024年的计划年的计划2024 MCX开发板 免费发放计划new quick start board for MCX A and N series coming soonMCX-N9xx-BRK2 5PUBLIC基

25、于基于NXP LPC系列系列MCU BSP的支持的支持ProductUART/serialADCI2CSPICANHWTIMERPWMRTCUSBSDcardLPC55S69LPC55S28LPC55S06N/ALPC55S02N/ALPC55S16N/ALPC55S36N/ALPC5500 series:https:/ 6PUBLIC基于基于NXP MCX系列系列MCU BSP的支持的支持MCX:ProductUART/serialADCI2CSPICAN(FD)HWTIMERPWMRTCUSBSDcardMCX N94xMCX N54xMCX Axxx*MCX系列MCU基于RT-Threa

26、d的BSP需要根据NXP官方产品发布的时间而定2 7PUBLIC基于基于NXP I.MXRT系列系列MCU BSP的支持的支持I.MXRT:BSP support for the MCUX N94x/N54X series is planned to be supported in Q2 of 2023,synchronized with the official launch time.BSP support for the MCUX A10 series is planned to be supported in Q1 of 2024,synchronized with the offic

27、ial launch time.ProductUARTADCI2CSPICANHWTIMERSAI1PWMRTCUSB100/1000 ENETSD cardi.MXRT1170i.MXRT1064i.MXRT1060i.MXRT1050i.MXRT1020The USB,1G ENET,and SD card support for i.MXRT1170 have been improved.The drivers for the i.MXRT10XX series are currently being updated.https:/ 8PUBLIC恩智浦恩智浦MCU加油站加油站 微信公众号微信公众号恩智浦工程师原创技术分享恩智浦工程师原创技术分享欢迎关注，欢迎投稿欢迎关注，欢迎投稿NXP 客栈客栈恩智浦恩智浦 MCU加油站加油站NXP,THE NXP LOGO AND NXP SECURE CONNECTIONS FOR A SMARTER WORLD ARE TRADEMARKS OF NXP B.V.ALL OTHER PRODUCT OR SERVICE NAMES ARE THE PROPERTY OF THEIR RESPECTIVE OWNERS.2023 NXP B.V.