王鹏-类人灵巧操作具身智能机器人的渐进式落地.pdf

《王鹏-类人灵巧操作具身智能机器人的渐进式落地.pdf》由会员分享，可在线阅读，更多相关《王鹏-类人灵巧操作具身智能机器人的渐进式落地.pdf（46页珍藏版）》请在三个皮匠报告上搜索。

1、类人灵巧操作具身智能机器人王鹏|中科院自动化所、中科硅纪王鹏研究员、博士生导师，中科院自动化所中国科学院自动化研究所多模态人工智能系统全国重点实验室研究员，中科硅纪创始人。主要研究方向：具身智能、仿人灵巧手、通用类人灵巧操作机器人。主持完成了国家自然科学基金、国家重点研发计划等项目和课题30余项，发表人工智能与机器人领域国际期刊和国际会议论文 90余篇，两项成果连续发表在机器人顶级国际期刊IEEE TRO上，授权发明专利30余项。研发了Casia Hand系列仿人灵巧手及通用类人灵巧操作机器人。先后获北京市科学技术一等奖、北京市科学技术二等奖、中国自动化学会技术发明一等奖、日内瓦国际发明展金奖

2、等。目 录CONTENTSI.背景II.问题/痛点III.解决思路/整体方案IV.具体实现/技术实践V.总结与展望背景机器人的三大能力：移动-交互-操作PART 01通用灵巧操作能力实现难度大，在服务、工业、特种领域应用应用渗透率极低！聚焦操作，手-脑结合（Casia Hand）机器人的终极目标和最大价值之一：像人一样“用手”干活重视操作，手足并进（特斯拉 Optimus）工具性使用工具及基础设施灵巧性完成复杂操作动作适应性适应对象-环境-任务人机性与人协同-合作-共融通用类人灵巧操作能力特种：遥操作为主工业：示教操作为主服务：未形成实用化对象的多样性环境的不确定性任务的复杂性现状具有通用类人

3、灵巧操作能力的机器人提高机器人对对象-环境-任务的适应能力难点途径还未形成面向开放环境、未知对象、复杂任务的机器人通用类人灵巧操作能力！灵巧手+AI：通用类人灵巧操作能力痛点类人灵巧操作：硬件通用+算法泛化PART 02抓取分布稀疏通用抓取功能性抓取(6+1)DoF(6+24)DoF 二指夹爪灵巧手自由度提升高维的动作空间功能性抓取数据匮乏功能性抓取人工标注接触图及标注环境功能性抓取人工标注成本高问题与痛点功能性操作为例：问题与痛点对形状尺寸各异物体的抓取泛化能力不足且抓取配置单一对人类运动的响应能力欠佳对差异化任务场景适应和感知能力不理想请从我右手中把香蕉拿走请把喷壶递给我静态物体交接动态物

4、体交接双向物体交接灵巧手机器人的多样物体交接灵巧手机器人的响应式物体交接灵巧手机器人的人机双向物体交接人机物体交接为例：解决思路渐进式落地：通用抓取-功能性操作-人机融合PART 031、遥操作2、自主操作VS优点：快速决策 灵活可靠 适应性强优点：可重复性高、工作持续性强、快速推理与记忆不足：依赖人类操作员经验不足：不确定性高3、人机融合人类操作经验机器人自主智能解决思路：类人灵巧操作能力的获取特种服务工业+部件部件（灵巧手（灵巧手-数采与动捕数采与动捕-仿人臂）仿人臂）大脑大脑（CasiaHand Brain）整机整机（无际（无际-无畏无畏-无忧）无忧）部件+大脑+场景=应用驱动和“上肢”

5、能力为核心的类人灵巧操作机器人+场景场景解决思路：类人灵巧操作能力的获取基于视觉-语言模型的灵巧手工具操作学习灵巧手的类人功能性抓取学习灵巧手的通用抓取操作学习人与机器人间的类人物体灵巧交接物体适应性对物体-场景的泛化DL3精细化操作兼顾稳定与合理性（DL4）功能性操作使用工具与设施（DL4）多任务通用人机协同加速落地（DL5）软硬结合，实现“环境-对象-任务”的泛化和适应解决思路：类人灵巧操作能力的获取技术实践案例：硬件、功能性操作、人机物体交接PART 04181920211、单个物体抓取数据集（平行爪）a）共包含有150个物体b）每个物体包含36864个抓取姿态标注2、堆叠场景抓取数据集

6、（平行爪）a）100K个场景深度图片b）像素级抓取姿态标注3、抓取策略引导的实例分割数据集（抓-吸）a）6K个合成样本的实例级分割标注b）100个真实场景样本实例级分割标注4、单个物体抓取数据集（灵巧手）a）共包含有28个物体b）每个物体包含36864个抓取姿态标注5、堆叠场景抓取数据集（灵巧手）a）500个场景，4K个场景深度图片b）像素级抓取姿态标注6、单个物体语义抓取数据集（仿人手）a）190个物体b）语义抓取姿态标注类人灵巧操作学习数据获取灵巧手使用工具灵巧手-人的物体交接1.Haonan Duan,Peng Wang*,Yifan Yang,Daheng Li,Wei Wei,Yon