刘启东-多模态推荐系统综述.pdf

1、Applied Machine Learning LabCityU多模态推荐系统综述介绍刘启东西安交通大学&香港城市大学2024年6月24日Applied Machine Learning LabCityU大纲 背景和流程 模态编码器 特征交互 特征增强 模型优化 未来的方向与讨论2Applied Machine Learning LabCityU背景介绍3RS 推荐系统(Recommender Systems)根据用户的兴趣为其推荐合适的物品可以用于缓解 信息过载问题Applied Machine Learning LabCityU背景介绍 推荐系统(Recommender Systems)

2、根据用户的兴趣为其推荐合适的物品可以用于缓解 信息过载问题 多模态推荐系统(Multimodal Recommender Systems)在推荐过程中利用多模态特征有效缓解 数据稀疏问题增强推荐系统的 语义理解能力3As students at the United States Navys elite fighter weapons school compete to be best in the class,one daring young pilot learns a few things from a civilian instructor that are not taught in

3、 the classroom.Genres:drama,actionApplied Machine Learning LabCityU多模态推荐系统流程4 原始特征表征表格特征 Embedding Layer多模态特征(poster,intro)Modality EncoderApplied Machine Learning LabCityU多模态推荐系统流程4 原始特征表征表格特征 Embedding Layer多模态特征(poster,intro)Modality Encoder 特征交互将不同的模态的特征映射到同一空间产生 用户表征 和 物品表征Applied Machine Learn

4、ing LabCityU多模态推荐系统流程4 原始特征表征表格特征 Embedding Layer多模态特征(poster,intro)Modality Encoder 特征交互将不同的模态的特征映射到同一空间产生 用户表征 和 物品表征 推荐增强用户与物品表征给出推荐结果Applied Machine Learning LabCityU分类法5 模态编码器挑战:对于原始多模态输入，如何从复杂的模态特征中抽取表征特殊性：一般RS直接使用embedding layer，MRS需要text和image encodersApplied Machine Learning LabCityU分类法5 模态

5、编码器挑战:对于原始多模态输入，如何从复杂的模态特征中抽取表征特殊性：一般RS直接使用embedding layer，MRS需要text和image encoders 特征交互技术挑战：对于特征交互步骤，关键在于如何将不同语义空间的多模态特征融合，以及如何捕获用户对不同模态的偏好特殊性：一般RS关注高阶特征组合，MRS关注不同模态特征对齐与融合Applied Machine Learning LabCityU分类法6 特征增强挑战:对于最后的推荐步骤，如何在数据稀疏的条件下学习更加语义丰富的特征特殊性：一般RS只对单一模态特征增强，MRS需要对多种模态特征增强Applied Machine L

6、earning LabCityU分类法6 特征增强挑战:对于最后的推荐步骤，如何在数据稀疏的条件下学习更加语义丰富的特征特殊性：一般RS只对单一模态特征增强，MRS需要对多种模态特征增强 模型优化挑战：对于整个MRS的训练，如何同时优化轻量的RS模型和参数庞大的特征编码器特殊性：一般RS的embedding layer占据了大部分参数，MRS则是特征编码器Applied Machine Learning LabCityU大纲 背景和流程 模态编码器 特征交互 特征增强 模型优化 未来的方向与讨论7Applied Machine Learning LabCityU模态编码器8 模态编码器从 多模