干英豪-具身智能 × 工程机械：挖掘机远控与端到端自动装车模型的矿山实践.pdf

1、具身智能技术在工程机械智能化中的应用实践演讲人：干英豪010203040506网易伏羲机器人背景介绍挖掘机器人发展路线远控和智能化进展介绍具身智能大模型的发展现状具身智能大模型在挖掘机器人上的应用网易伏羲机器人背景介绍背景：AI技术出圈游戏，伏羲机器人应运而生伏羲实验室成立强化学习编程框架AI论文顶刊收录AI感知表情重大突破伏羲算法大赛沉浸式会议系统AIGC广泛应用灵动:挖掘机器人有灵:人机协作平台灵动:无人装载机ACE智能云引擎有灵任务平台：链接用工方和物理世界在线任务电子游戏：链接玩家和虚拟世界空间背景:有灵人机协作平台，赋能实体场景虚拟世界.虚拟世界游戏平台真实世界任务.真实世界任务有灵

2、任务平台背景:有灵人机协作平台，赋能实体场景不同AI能力成熟度不同AI能力的迭代在于数据获取完整业务场景需要多种能力，现阶段不同AI能力的成熟度不同，用人机协作的模式来解决短板AI模块，实现业务闭环。AI能力的迭代瓶颈在于数据采集，物理世界的机器人数据更难采集（具身智能），用人机协作的模式来实现human-in-loop 数据采集，实现数据闭环。AOP面向智能体编程众包平台AI能力系统感知认知决策动作挖掘机器人发展路线背景：挖机机器人，探索人机协作新模式挖掘机指数挖掘机作为工程机械的掌上明珠，其销量通常被认为行业的风向标。“挖掘机指数”为分析宏观经济提供重要支持（李克强总理）矿业智能化2021

3、年6月，国家能源局印发智能化煤矿建设指南，全面推进采掘设备智能化、生产过程遥控化、管控平台一体化，实现减人、增安、提效由虚向实由虚向实，借助网易在游戏领域的深厚积累，发展我们的数字孪生人机协作平台。同时解决工程机械领域人口红利消失大背景下的用工问题挖掘机器人技术路径远程遥控 传感缺失 网络延时 感知错位人机协作游戏化交互+部分AI能力全自主作业 场景复杂 鲁棒性不够 安全风险挖掘机器人产品规划基础版低延时视频流传输深度信息缺失临场感缺失进阶版游戏化设计AI能力模块技能学习智控版任务学习端到端具身智能模型远控和智能化进展介绍挖掘机器人远程遥控（基础版）远程座舱控制主视角画面传输难点：低延时视频流

4、传输、深度信息缺失挖掘机器人远程遥控（基础版）低延时视频流传输挖掘机器人远程遥控（基础版）AR 画面增强3D实时重建深度信息缺失挖掘机器人远程遥控（基础版）实时远程透传功能挖掘机器人液压关节末端遥控（进阶版）基于学习的液压控制模型建立和反馈控制改变传统挖机控制方式，上手门槛更低挖掘机器人液压关节末端遥控（进阶版）液压臂自动控制平稳，精度达 5cm挖掘机器人末端负载感知（进阶版）末端负载感知精度小于 150N挖掘机器人移动导航能力（进阶版）挖掘机器人感知能力（进阶版）行人检测，安全预警作业设备识别作业面地势高度实时感知卡车关键点识别和位姿估计挖掘机器人人机协作自动装车（进阶版）开场视频具身智能大

5、模型的发展现状具身智能技术路线输入：图像和文本指令输出：机械臂状态(x,y,z,r,p,y,gripper)，移动底盘状态(x,y,yaw)整体架构：将图像与文本指令抽取特征，再放入Transformer直接训练，对EverydayRobots机器人的机械臂状态和移动底盘状态进行学习数据集：耗时17个月，包含13个机器人，13万个片段，700多个任务的真实数据RT-1:Robotics Transformer for Real-World Control at Scale(v1 Submitted on 13 Dec 2022)具身智能技术路线RT-1:Robotics Transformer

6、 for Real-World Control at Scale(v1 Submitted on 13 Dec 2022)具身智能技术路线大模型能理解人类的语言和意图，还需要机器人观察和操作环境中的物体，以及规划一系列的子目标和动作。其输入是多模态的输入（如文本、图像、触觉信息以及机器人的3D空间状态等），输出可被机器人逐步执行的任务步骤。PaLM-E:An Embodied Multimodal Language Model，2023step1：导航到抽屉；step2：打开抽屉；step3：取出薯片；step4：关闭抽屉；step5：导航至主人处；step6：将薯片交给主人；任务：去抽屉里拿