多模态情感识别的原理、方法与典型应用.pdf

《多模态情感识别的原理、方法与典型应用.pdf》由会员分享，可在线阅读，更多相关《多模态情感识别的原理、方法与典型应用.pdf（90页珍藏版）》请在三个皮匠报告上搜索。

1、多模态情感识别的原理、方法与典型应用汇报人：赵思成2023年6月YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20242汇报提纲多模态学习-研究历程与典型工作多模态情感识别-研究背景与基本原理课题组相关进展-综述、单模态、多模态情感识别典型应用-舆情分析、商业智能、医疗健康、个人娱乐等未来研究方向-大模型时代的多模态情感识别等YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20243汇报提纲多模态学习-研究历程与典型工作多模态情感识别-研究背景与基本原理课题组相

2、关进展-综述、单模态、多模态情感识别典型应用-舆情分析、商业智能、医疗健康、个人娱乐等未来研究方向-大模型时代的多模态情感识别等YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20244问题定义 人类通过多种通道感知世界视、听、触、嗅、味 模态（Modality）事物发生或被感知的途径 多模态（Multimodal）涉及多种模态的研究问题（异质、互通）Interacting:process affecting each modality,creating new responseYSSNLP2024YSSNLP2024YSSNL

3、P2024 YSSNLP2024YSSNLP2024YSSNLP20245问题定义 多模态（机器）学习（Multimodal(machine)learning）构建模型使其可以处理多种模态的信息以及信息间的联系*文本、语音、视觉等研究边界正在模糊和弱化YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20246代表性应用 跨模态检索 多模态情感识别A little girl sitting on a bed with a teddy bear.视觉+语言：图像描述生成 视觉+语言：视觉问答 视觉+语言：指定视觉定位A group

4、of people sitting on a boat in the water.Multimodal Sentiment Analysis Challenge and WorkshopYSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20247挑战问题和研究内容 多模态学习：表征（Representation）研究多模态数据的表示方式，使其可以：（1）充分利用模态的互补性；（2）尽可能消除冗余。表示空间的相似关系应如实反映概念空间的相似性；即使部分模态的信息缺失仍然容易获取表示；根据已知模态的信息可填充或推算缺失模态的表示。T.

5、Baltrusaitis,C.Ahuja,L.-P.Morency.Multimodal machine learning:Asurvey and taxonomy.IEEE TPAMI,2019.YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20248挑战问题和研究内容 多模态学习：融合（Fusion）研究如何将不同模态的信息融合在一起以获得更准确的标签或连续值预测。模型无关的融合 前期融合（特征级融合）后期融合（决策级融合）混合式融合T.Baltrusaitis,C.Ahuja,L.-P.Morency.Multimoda

6、l machine learning:Asurvey and taxonomy.IEEE TPAMI,2019.模型相关的融合 基于多核学习的融合 基于图模型的融合 基于神经网络的融合YSSNLP2024YSSNLP2024YSSNLP2024 YSSNLP2024YSSNLP2024YSSNLP20249挑战问题和研究内容 多模态学习：对齐（Alignment）研究如何在多个模态中寻找并确定不同模态内子元素的直接对应关系。显式对齐方法：以对齐为优化目标，核心问题是定义和计算相似性 无监督多模态对齐：以预设的序列关系或相似性作为约束条件（动态时间规整、典型相关分析）监督/弱监督多模态对齐：以全