王松-大模型Agent在智能硬件上的实践与应用.pdf

《王松-大模型Agent在智能硬件上的实践与应用.pdf》由会员分享，可在线阅读，更多相关《王松-大模型Agent在智能硬件上的实践与应用.pdf（27页珍藏版）》请在三个皮匠报告上搜索。

1、大模型Agent在智能硬件上的实践与应用大模型重塑智能硬件交互体验王松|未来智能王松未来智能CTO 连续创业者，个人专注于软硬件技术、研发管理、前沿技术，曾经研发全国首个智能短途配送系统，利用AI提效50%以上，曾带领团队做出世界上第一台支持全场景录音的智能耳机，非常擅长将新技术转化为生产力。目前团队产品是国内智能耳机的高端品牌Viaim耳机，具备多种AI功能，与大模型无缝集成，团队正在打造下一代智能穿戴设备，希望通过AI让用户的生活和工作更加轻松和便捷。目 录CONTENTSI.交互演进史II.软硬一体技术架构III.三大体验重构IV.落地案例交互演进史PART I交互演进史1980s物理按

2、键以物理按键为主要交互式，直接映射功能指令2007触控2011语音助手2023多模态Agent以触控屏幕为交互界面势操作成为主流语交互成为新型界以对话式执任务融合视觉、语、情境感知的智能体，实现主动服务智能硬件痛点速描唤醒词识别率低用户平均需要重复唤醒词2.5次才能激活设备应用割裂跨应任务需要用户手动串联，增加操作复杂度上下文记忆缺失交互中断即上下文丢失，无法延续之前的对话交互机械僵硬对话体验机械，缺乏然情感和人性化反馈唤醒词喊三遍小爱同学.小爱同学！.小爱同学！跨APP复制粘贴切换三个应用才能完成项任务场景断点无法记住上下文，每次都要从头开始沉默尴尬对不起，我没听清.软硬一体技术架构PART

3、 II为什么是现在？算力NPU 40 TOPS 2W能效提升10倍AI芯普及数据多模态传感1000+维度/天场景理解全深入算法1B 10B参数端侧可跑高效小模型突破模型端侧效部署的三要素协同发展，Agent Inside 成为现实端侧模型压缩黑科技60%稀疏化去除冗余连接和权重，保留结构化稀疏，加速推理60%KV-Cache重计算优化注意机制中的键值缓存，减少内存占40%端侧响应延迟 300 ms|算需求降低70%4bit量化将模型权重从FP16/FP32 压缩到4bit，减少4-8 倍存储75%模型体积减少计算量减少内存占减少应用层(Application Layer)面向用户的智能应用、服

4、务、场景适配和多模态交互界面软硬一体技术架构模型层(Model Layer)大语言模型、多模态感知模型、知识图谱、向量数据库框架层(Framework Layer)智能Agent编排、推理框架、API调用编排、任务管理与调度芯片层(Chip Layer)NPU、专用AI加速器、异构计算硬件、底层驱动优化记忆系统突破关键技术：向量数据库联邦学习差分隐私用户记忆云全局知识库本地缓存私密数据存储可撤销记忆用户控制权用户记忆云云端存储全局长期记忆，持跨设备访问本地缓存设备存储短期记忆，保护隐私不出设备可撤销记忆用户对历史记忆的查看、修改与删除权限三大体验重构PART III三大体验重构：交互范式跃迁单

5、任务被动执行多任务编排主动服务传统语音助手指令式交互用户需要明确表达具体的指令和操作步骤，助被动执行单一任务。用户输:导航去公司助手响应:好的，正在为您导航去公司Agent目标式交互用户只需表达高层次目标，Agent理解意图并主动规划多个任务步骤。用户输:我今天想9点到公司，顺便买咖啡Agent响应:已为您规划路线，考虑到当前交通状况，建议8:25出发。已标记路线上星巴克店，预计路上耗时30分钟，已添加8:55提醒取咖啡。VS已为您完成全部安排：-明天15:00的会议已添加到日历-建议14:30出发，预计路程30分钟-已设置14:00提醒-演讲稿模板已创建并添加到备忘录结果反馈三大体验重构：服

6、务闭环工具调用任务1：创建日历事件任务2：查询交通路线任务3：设置会前提醒任务编排日程：会议(明天,15:00)任务：准备演讲稿(优先级：高)出行：安排交通(目的地：会议地点)提醒：设置(时间：会前适当)意图解析明天下午3点我有个重要会议，需要准备演讲稿，烦提前安排交通并提醒我语音指令calendar.createEvent(title=重要会议,startTime=2025-07-21T15:00:00,location=会议室A)maps.getRoute(destination=会议室A,departureT