具身智能技术在工程机械智能化中的应用实践.pdf

《具身智能技术在工程机械智能化中的应用实践.pdf》由会员分享，可在线阅读，更多相关《具身智能技术在工程机械智能化中的应用实践.pdf（46页珍藏版）》请在三个皮匠报告上搜索。

1、具身智能技术在具身智能技术在工程机械工程机械智能化中的应用实践智能化中的应用实践伏羲机器人陈赢峰1伏羲机器人背景介绍背景：AI技术出圈游戏，伏羲机器人应运而生伏羲实验室成立强化学习编程框架AI论文顶刊收录AI感知表情重大突破伏羲算法大赛20172017沉浸式会议系统AIGC广泛应用灵动:挖掘机器人有灵:人机协作平台灵动:无人装载机网易成立20年之际，雷火事业群的海量需求催生伏羲实验室，专业从事游戏AI研究和应用，推动产学研深度融合。如今在游戏和AI方面积累的技术能力再次被拓展。20182018201920192021202120232023202020202022202220242024ACE

2、智能云引擎有灵任务平台：链接用工方和物理世界在线任务电子游戏：链接玩家和虚拟世界空间背景:有灵人机协作平台，赋能实体场景虚拟世界.虚拟世界游戏平台真实世界任务.真实世界任务有灵任务平台背景:有灵人机协作平台，赋能实体场景不同AI能力成熟度不同AI能力的迭代在于数据获取完整业务场景需要多种能力，现阶段不同AI能力的成熟度不同，用人机协作的模式来解决短板AI模块，实现业务闭环。AI能力的迭代瓶颈在于数据采集，物理世界的机器人数据更难采集（具身智能），用人机协作的模式来实现human-in-loop 数据采集，实现数据闭环。AOP面向智能体编程众包平台AI能力系统感知认知决策动作2挖掘机器人技术路线

3、背景：挖机机器人，探索人机协作新模式挖掘机指数挖掘机作为工程机械的掌上明珠，其销量通常被认为行业的风向标。“挖掘机指数”为分析宏观经济提供重要支持（李克强总理）矿业智能化2021年6月，国家能源局印发智能化煤矿建设指南，全面推进采掘设备智能化、生产过程遥控化、管控平台一体化，实现减人、增安、提效由虚向实由虚向实，借助网易在游戏领域的深厚积累，发展我们的数字孪生人机协作平台。同时解决工程机械领域人口红利消失大背景下的用工问题挖掘机器人技术路径远程驾舱远程驾舱高级决策高级决策部分智能部分智能远程遥控远程遥控 传感缺失 网络延时 感知错位人机协作人机协作游戏化交互+部分AI能力全自主作业全自主作业

4、场景复杂 鲁棒性不够 安全风险完全智能完全智能挖掘机器人产品规划基础版低延时视频流传输深度信息缺失临场感缺失进阶版游戏化设计AI能力模块技能学习智控版任务学习端到端具身智能模型3远控和智能化进展介绍挖掘机器人远程遥控（基础版）远程座舱控制主视角画面传输难点：低延时视频流传输、深度信息缺失挖掘机器人远程遥控（基础版）低延时视频流传输挖掘机器人远程遥控（基础版）AR 画面增强3D实时重建深度信息缺失挖掘机器人远程遥控（基础版）实时远程透传功能挖掘机器人远程遥控（基础版）挖掘机器人液压关节末端遥控（进阶版）基于学习的液压控制模型建立和反馈控制改变传统挖机控制方式，上手门槛更低挖掘机器人液压关节末端遥

5、控（进阶版）液压臂自动控制平稳，精度达 5cm挖掘机器人末端负载感知（进阶版）末端负载感知精度小于 150N挖掘机器人移动导航能力（进阶版）挖掘机器人感知能力（进阶版）行人检测，安全预警作业设备识别作业面地势高度实时感知卡车关键点识别和位姿估计挖掘机器人自动甩方（进阶版）挖掘机器人自动平地（进阶版）挖掘机器人自动刷坡（进阶版）挖掘机器人人机协作自动装车（进阶版）挖掘机器人人机协作自动装车（智控版）挖掘机器人人机协作导航挖沟作业（智控版）4具身智能模型进展介绍挖掘机器人具身智能技术路线输入：图像和文本指令输出：机械臂状态(x,y,z,r,p,y,gripper)，移动底盘状态(x,y,yaw)整

6、体架构：将图像与文本指令抽取特征，再放入Transformer直接训练，对EverydayRobots机器人的机械臂状态和移动底盘状态进行学习数据集：耗时17个月，包含13个机器人，13万个片段，700多个任务的真实数据RT-1:Robotics Transformer for Real-World Control at Scale(v1 Submitted on 13 Dec 2022)挖掘机器人具身智能技术路线RT-1:Robotics Transformer for Real-World Control at Scale(v1 Submitted on 13 Dec 2022)挖掘机器人