8、HDC+2022+多模态融合感知能力让设备更加智能-public.pdf

1、多模态融合感知能力让设备更加智能系统形成意图选择交互设备执行交互任务多设备场景单设备场景输入人主动输出反馈表达交互模态如何自然的选择交互设备？如何自然的选择交互设备？如何自然的响应交互模态？如何自然的响应交互模态？如何自然的进行业务流转？如何自然的进行业务流转？HarmonyOS系统需要构建的用户自然行为识别能力:用户自然行为中朝向意图识别能力。用户自然行为中靠近意图识别能力。语音和体态意图识别能力。语音+其它模态融合识别能力。不同模态业务流转意图表达机制设计。自然交互对感知的诉求：人因分析自然交互对感知的诉求：人因分析用户与系统交互典型交互链路设备与设备间的相对位置设备与设备间的相对位置关系

2、关系人与设备间的相对位置人与设备间的相对位置关系关系 远近关系 朝向关系 左右关系 远近关系 朝向关系 左右关系单设备难以完成感知任务自然交互对感知的诉求自然交互对感知的诉求1 1感知是多设备协同的感知技术成本精度感知范围部署现状IMU 超声波 红外 BR/BLE UWB 毫米波 RFID Wi-Fi CV Lidar 自然交互对感知的诉求2感知是多模态融合的单一模态感知能力存在约束系统层应用层MSDP融合感知子系统应用业务逻辑处理感知服务开放接口（SAS API）软总线通道多客户端管理安全隐私管控在位方位距离朝向南向标准算法接口（SAI Interface）离车音随人动PC-PAD协同分布式

3、Modem朝向识别业务调度适配层跨设备信令单元外部通信通道数据通道管理跨设备通道管理设备上下线设备选举感知能力管理拓扑管理接口已开源暂未开源融合感知框架融合感知框架支持多模态融合支持多设备感知能力协同支持业务多端对称订阅支持超声波、蓝牙等多模态数据融合支持IMU动静检测，作为方位感知、测距等能力触发条件支持不同感知能力接续融合感知框架满足以上要求支持多设备协同支持多模式融合支持多能力接续7 手机与智慧屏协同感知，使能招一招识别 手机端IMU检测招一招动作，上报招一招事件 招一招事件触发播控业务卡片启动示例示例1 1：智慧屏招一招，带来智慧交互新体验：智慧屏招一招，带来智慧交互新体验8示例示例2

4、 2：车机音随人动，解决用户隐私痛点：车机音随人动，解决用户隐私痛点 手机与车机协同，使能车内外识别 车机基于车辆事件，触发车内外识别 手机使用车内外事件，切换音频输出设备10支持业务接续调用多设备不同感知能力快捷接入，赋能生态系统层应用层MSDP融合感知子系统应用业务逻辑处理感知服务开放接口（SAS API）软总线通道多客户端管理安全隐私管控在位方位距离朝向南向标准算法接口（SAI Interface）离车音随人动PC-PAD协同分布式Modem朝向识别业务调度适配层跨设备信令单元外部通信通道数据通道管理跨设备通道管理设备上下线设备选举感知能力管理拓扑管理接口已开源暂未开源支持不同感知能力的

5、空间事件接口算法接口：支持感知原子算法替换import spatialAwareness from ohos.spatialAwareness;nearby()this.mode=MODE_DEVICE_NEARBY;this.spatialObj.on(this.mode,this.deviceInfo,(data)=this.NearArea=nearby=+JSON.stringify(this.spatialObj.data););11接入代码示例：能力订阅接入代码示例：能力订阅namespace OHOS namespace Msdp class MsdpAlgorithmInter

6、face public:MsdpAlgorithmInterface()=default;virtual MsdpAlgorithmInterface()=default;class SpatialCallback public:SpatialCallback()=default;virtual SpatialCallback()=default;virtual void OnResult(const SpatialEvent&event)=0;virtual bool Su