多模态信息融合的脑机接口与人机交互技术.pdf

《多模态信息融合的脑机接口与人机交互技术.pdf》由会员分享，可在线阅读，更多相关《多模态信息融合的脑机接口与人机交互技术.pdf（34页珍藏版）》请在三个皮匠报告上搜索。

1、多模态信息融合的脑-机接口与人机交互技术目 录脑机接口技术正在从科幻走向现实n 将计算机和人类大脑连接起来，实现人与机器的无缝交互。2014年巴西瘫痪少年用脑电控制外骨骼机器人站起来,为世界杯开球Nature 442,164171(2006)脑机接口技术能为生活带来哪些惊喜：帮助残障人士进行康复，提高生活质量；增强人体机能增强；危险场所作业，通过脑机接口实现机器人在人无法进入的场合工作；作业疲劳检测，工作或学习的注意力评估；娱乐游戏中，人们可以借助脑机接口，更好地对游戏角色进行操控，提升游戏的体验感；通过脑机接口技术直接与计算机进行交互，实现更加智能化的工作方式，提高工作效率。脑机接口技术正在

2、从科幻走向现实n 马斯克旗下的脑机接口公司 Neuralink，获准进行脑机接口人体试验，这被视为脑机接口迈向商业化应用的里程碑。脑机接口AI机器人宇宙探索遥控机器人反馈机器人感觉脑机接口助力和谐的人机交互n 不同领域的人机交互，但人机交互需要安全和谐医疗医疗康复康复Medicine工业工业农业农业Produce居家生活居家生活军事军事 国防国防LifeEEGEMGPositioningAccelerationCCDDe-noisingSignal analysisFeature classificationOperators intention can be sent to the robo

3、t through the commands.Robots receive human intentions.多模态信息融合的脑-机接口脑电（EEG）和肌电（EMG）信号是人的意图的直接表现n 机器人需要明白人的意图n 人需要知道机器人的行为意图如何描述人的意图?n 脑是人的智能中心n 人的行为是由神经控制的，EEG和EMG是神经传导的外在表现TED.comEEG 和 EMG 描述人的意图EEGEMGn EEG 是大脑神经电活动的外在表现n EMG 是肌肉电信号的外在表现人脑如何感知机器人的状态？人能感受到机器人的痛苦吗？Yutaka Suzuki,et al.,Measuring empat

4、hy for human and robot hand pain using electroencephalography,Nature,2015,5:1-9人对自身受伤人对自身受伤的疼痛感的疼痛感人对机器人受伤人对机器人受伤的疼痛感的疼痛感EEG特征人类和机器人在同理心方面的差异脑-机接口脑机接口(BCI)指在人或动物大脑与外部设备之间建立的直接连接，实现脑与设备的信息交换。n 大脑皮层n 动作电位n 动作电位From University of Minnesota n Microwire arrays of 100 electrodesBlackrock Microsystemsn 植入脑

5、电极采集的脑电信号Wang H et al.NeuroReport,1996Nature,2002v 2006年电极被植入受试者脑内；v 受试者可用脑电波控制机械手臂、控制电脑鼠标收发e-mail、控制开关电灯和电视等。Hochberg LR et al.Nature 442,164171(2006)0.5-4.04.0-8.08.0-13.013.0-30.030.0我们实验室Square of the voltage to imagine the left/right hand movementn 4 个EEG 电极置于脑运动区表面想象左手运动想象右手运动我们实验室n 基于机器学习算法进行

6、分类我们实验室把EEG特征分为学习特征和决策特征，形成知识来建立基于EEG特征的人工智能专家系统的数学模型。非学习的非学习的自然放松状态自然放松状态通过视觉感知的通过视觉感知的学习过程学习过程Zhang C,Wang H*et al.,Integrated Computer-Aided Engineering,2013,20(4):391-405 脑电（脑电（EEGEEG）特征）特征 隐形知识隐形知识东北大学研制的脑控无人机系统 我们实验室Tianwei Shi,Hong Wang*,Chi Zhang,Expert Systems With Applications,2015具有自主知识产权

7、的脑机接口系统东北大学研制的脑控机械手系统 我们实验室不同心理负荷状态特征分析 不同认知程度和心理负荷状态下各脑区脑电时空模式的相关性 隐性知识的显性化模型Wang H et al.,Expert Systems With Applications,2016,53:117-128“欢乐兔欢乐兔”情感交流机器人情感交流机器人脑网络特征提取 我们实验室C Hua,H Wang,et al.,International Journal of Neural Systems,2018熟练操作员熟练操作员不熟练操作不熟练操作脑网络特征 熟练操作熟练操作不熟练操作不熟练操作 我们实验室Internation

8、al Journal of Neural Systems,Vol.31,No.3(2021)2050069恐高是一个模糊的量，无法用传统方法精准评估，我们利用EEG信号特征建立了对恐高的定量计算方法，为高空作业人员安全提供建议。东北大学研制的外骨骼人机交互接口系统 我们实验室n Naishi Feng,Qiurong Shi,Hong Wang,et al.,The International Journal of Advanced Manufacturing Technology,2018展望未来Lebedev MA and Nicolelis MAL,TRENDS in Neurosci.29,536-546,(2006)多模态生理信号多模态生理信号机器人机器人多模态感知反馈多模态感知反馈脑机双向交互控制指令控制指令脑-机智 能融 合李春胜，刘冲，史添玮，王福旺，张驰，常文文，化成城，程鹤，史晨鸣，冯乃诗，胡佛，吴志伟，等