谢皓 -AI Agent在边缘云的探索与实践.pdf

1、AI Agent在边缘云的探索与实践连接物联世界，让AI触手可及演讲人：谢皓火山引擎/边缘智能技术负责人0102030405目录边缘云在智能方向的演进之路边缘智能助力智能体落地边缘云智能体在火山引擎边缘云的实践总结与展望智能体在边缘云落地的问题与挑战边缘云在智能方向的演进之路火山引擎边缘智能简介终端设备现场边缘近场边缘云边缘云中心用户现场1-5ms区域城市5-20ms区域中心城市20-40ms低时延低成本算力密集高效率局域网立足边缘云，协同端云算力，打造智联方案设备接入Non-IP 终端设备Pull-Only 模式的设备性价比低延时低带宽成本安全数据主权数据隐私可靠性边缘自治断网续传AI 史前

2、的边缘智能-物联网（IoT）-设 备 现 场直连设备非直连设备现场边缘 物联网关规则引擎设备连接消息转发数据采集物联网平台基础设施设备接入设备管理设备协议物模型消息通信规则引擎计算资源存储资源网络资源数据平台消息中间件数据仓库数据分析数字孪生设备影子时间节点2014年左右代表技术大数据核心功能智能水平边缘算力：0TOPS基于规则的的伪智能伪智能云计算设备连接规则引擎消息转发中 心 云数据聚合AI 1.0时代的边缘智能-智慧物联（AIoT）设 备 现 场中 心 云端设备端系统三方平台边缘智能设备连接数据转发视音频处理边缘容器边缘推理物联协议视频协议API调用数据调用弹性容灾管理协同数据协同服务协

3、同边缘智能驱动管理设备管理容器管理远程运维模型管理监控预警aPaaS生态边 缘 云资源协同计算资源存储资源网络资源弹性协同时间节点2017年左右代表技术机器视觉深度学习 核心功能智能水平边缘算力：1-10TOPS小场景的有限智能有限智能边缘推理视音频处理 AI 2.0时代的边缘智能-智能体（AI Agent）虚拟助手智能体家庭清洁智能体https:/arxiv.org/html/2409.14457v1#bib.bib51时间节点2023年左右代表技术大语言模型多模态大模型核心功能智能水平边缘算力：10 TOPS一定领域的泛化智能泛化智能感知理解执行动作规划决策长短记忆智能体在边缘云落地的问题

4、与挑战问题一:如何泛化智能体对设备能力的理解原始想法设备能力API化设计合适prompt告知设备能力通过function call 操作设备问题无法动态感知设备无法泛化对设备的理解 问题二:如何形成AI 1.0 与 AI 2.0的能力互补AI1.0 现有能力设备接入边缘推理AI2.0 不足视音频处理延时成本准确性如何融合两者优势？挑战一：软件生态的丰富度低智能体架构举例生态应用的缺失可调用工具的缺失系统组件的缺失中间件的缺失1234挑战二：“大”模型与“小”算力背景边缘算力受限模型规模与模型性能正相关思考将模型小型化小算力将导致泛化能力变弱020406080050100150200250300

5、Jetson OrinJetson OrinJetson OrinJetson OrinJetson AGXJetson AGXJetson AGX典型边缘设备算力典型边缘设备算力&内存内存TOPSMemory平衡点（Model:7B model、fp16/fp8 算力：100TOPS、32 G）算力临界点SLM发布时间线如何权衡大小模型使用？挑战三：分散算力的综合利用背景边缘算力小边缘算力分散思考拆分模型网络根据算力，网络合理调度 挑战边-边协同推理，带宽将显著影响模型性能 相关研究带宽将是模型性能的关键因素挑战四：智能体连接物理世界放大安全风险连接物理世界后的智能将会放大安全威胁传统安全问

6、题依旧存在新型安全威胁层出不穷对抗攻击智能体安全威胁幻觉威胁病毒&后门攻击来自数据&知识的幻觉来自训练&推理幻觉来自multi agent幻觉输入性对抗攻击提示词黑客攻击数据毒药攻击对齐后门攻击边缘智能助力智能体落地边缘云“物模型”构建智能体对设备能力理解物模型对设备能力抽象表达在提示词中注入物模型知识设备信息物模型名称位置属性事件服务设备设备物联网平台物模型设备操作初始prompt人设获取物模型并注入获取设备信息并注入LLMworkflowquery简化低代码编辑成本初始prompt人设获取边缘分析能力LLMworkflow设备管理边缘推理数据处理算子