4-力力_20240410_-翁力雳-eBay多模态与GNN商品嵌入技术_1_副本.pdf

1、DataFunConDataFunCon#20242024eBayeBay多模态与多模态与GNNGNN商品嵌入技术商品嵌入技术翁力雳-eBay-Recs Tech Lead提升推荐系统效能与用户体验讲师介绍讲师介绍翁力雳翁力雳eBay-Recs Tech LeadContentsContents目录目录痛点分析因地制宜的多模态模型Why图模型Takeaway/答疑痛点分析痛点分析网路市集的特殊性eBay 依赖卖家确保他们上架商品的准确、完整和高质量Low-quality imagesSeller listing images showcasing their products may be b

2、lurry,poorly lit,or of low resolution.Lack of consistencySome sellers may take great care to create high-quality listings,while others may not put in as much effort.Inaccurate or incomplete titlesSome sellers may not provide enough information in their titles while others may provide inaccurate info

3、rmation in their titles Long-tail problemReferring to the distribution curve that depicts the popularity of products or services,with a few popular items at the head of the curve and a long tail of less popular items.网路市集的特殊性eBay 依赖卖家确保他们上架商品的准确、完整和高质量单一模态的局限性全球用户的购买习惯因地制宜的多模态模型因地制宜的多模态模型多模态商品嵌入解决方案

4、深入地理解eBay上的商品特性，并为推荐系统打造更精确、高效的召回集孪生双塔模型的模型结构这一神经网络架构的杰出代表，巧妙地运用两个相同的子网络（或塔）来处理截然不同的输入三元损失函数与TransH相同的标题可以对应不同的图片，而同一张图片也可以对应不同的标题。三元损失函数与TransH相同的标题可以对应不同的图片，而同一张图片也可以对应不同的标题。图文不匹配检测模块作为在线市场的佼佼者，eBay汇聚了大量由个体卖家提供的二手商品。然而，这些商品的图片质量及其准确展示有时会出现参差不齐的情况。工程设计实时流任务+全量数据embedding批处理+降维Faiss KNN在线实验结果在eBay的多

5、个展示推荐页面上，基于多模态嵌入的召回技术已经全面部署，覆盖了列表页面、购物车页面、订单详情页面以及观看页面等;点击率（CTR）提高了15.9%,购买率（PTR）增长了31.5%WhyWhy图模型图模型统一二部图的建立核心工作在于定义用户与商品的行为交互图，然后完成在图上的采样工作模型结构GNN 召回模型是一个典型的双塔结构，由用户侧和物品侧组成。物品侧&用户侧物品侧要完成的任务是聚合目标物品及其邻居物品的所有信息；用户侧，我们需要完成用户行为的聚合在线实验结果在eBay的多个展示推荐页面上，基于多模态嵌入的召回技术已经全面部署，覆盖了列表页面、购物车页面、订单详情页面以及观看页面等;点击率（CTR）提高了10%,购买率（PTR）增长了5%工程设计实时流任务+全量数据embedding批处理+降维Faiss KNNTakeTakeawayaway多模态大模型 模态桥接当前 AI 领域的关注重心正从大型语言模型（LLM）向多模态转移，于是乎，让 LLM 具备多模态能力的多模态大型语言模型（MM-LLM）就成了一个备受关注的研究主题多模态输入带来的业务创新一位创新的设计师，他能够消化各种模态来推荐列表，使设计栩栩如生