田明杨-大模型深度理解用户长周期跨域兴趣建模.pdf

1、大模型长周期跨域兴趣建模演讲人：田明杨|算法工程师DataFunSummit 2025引言：传统建模方案的瓶颈01方案：动态跨域推理链技术02落地：工程和算法联合优化03展望：未来挑战和方向04目 录CONTENTS行业技术背景InputLLM-modelUser-portraitUsage scenariosEmbeddingToken-IdSemantic-IDText structDMPDialogue systemADS/Rec/SearchAgent01.引言-传统建模方法模型核心创新点优化目标适用场景SIM两阶段检索万级序列在线服务电商/广告推荐TWINGSU轻量Attention

2、统一打分两阶段一致性超长序列精排TWINV2行为聚类压缩信息去冗余高重复行为场景LREA低秩矩阵压缩+预缓存计算存储效率工业级高并发场景DISLKG语义路径+动态池化兴趣语义建模多源信息融合场景SDIMSimHash签名聚合、BSE/CTR服务解耦无偏兴趣建模+计算效率高重复行为CoFARSJS散度+GAT时序图动态时空偏好捕捉即时配送/LBSDI-TIN域分离Attention+Stacked TIN跨域特征解耦与高阶交叉内容广告融合SASRec类目分层采样+候选池化高并发候选压缩广告粗排未来趋势可能聚焦多模态序列融合与动态增量更新机制01.引言-传统建模瓶颈用户视角1.长期兴趣中长尾丢失2

3、.跨域兴趣丢失3.电商场景长周期性购买识别不准算法视角大模型从数据信息和模型结构提供了新的解决思路长期依赖捕捉能力弱梯度消失梯度消失/爆炸问题爆炸问题记忆容量有限记忆容量有限冷启与中长尾预测不准数据稀疏、迁移学习实效数据稀疏、迁移学习实效中长尾特征欠表达中长尾特征欠表达表达能力和解释性受限特征提取能力弱特征提取能力弱任务泛化性差任务泛化性差跨域兴趣不连续不同场景特征难以对其不同场景特征难以对其动态兴趣漂移动态兴趣漂移213方案应用动态跨域推理链生成方案建模方案落地挑战02.解决方案02.LLM建模优势维度传统长序列建模LLM兴趣建模架构基础两阶段检索或压缩算法端到端Transformer/生成

4、式架构序列处理能力万级序列需分层压缩直接处理超长序列兴趣表征形式隐式向量隐式+显式语义动态更新机制离线批处理更新实时增量学习跨域融合能力有限原生支持可解释性弱强问题思考：传统长序列建模和LLM大模型长序列建模的关系?优势 架构：无需分段，输出NLP兴趣描述，突破向量空间 时效：微调更新参数量少，可达分钟级，实时prompt注入 可解释性和跨域：CoT推理突破跨域，多模态原生支持02.建模方案：动态跨域推理链生成方案详细方案流程图特征提取层细化跨模态嵌入对齐跨模态嵌入对齐动态特征更新动态特征更新推理优化技术思维链提示思维链提示多任务微调多任务微调画像构建方法键值对结构化画像键值对结构化画像自然语

5、言画像自然语言画像分层兴趣建模分层兴趣建模123建模方案DMP智能圈人，生成式召排方案应用落地挑战02.方案应用02.方案应用：智能圈人和召排场景DMP结构画像NLP画像分层画像召排人群包Item list精排/重排Prompt驱动圈选Embedding&明文维度传统DMP标签大模型画像语义理解深度基于关键词/类目标签理解用户行为背后的场景意图（如“孕期护肤”）兴趣动态性静态标签（更新周期长）实时捕捉兴趣迁移（如“从备孕到育儿”）跨模态关联文本/行为数据独立处理融合图文、视频内容语义（如视频弹幕中的情绪倾向）小样本泛化依赖大量历史数据建模通过潜在兴趣识别新兴圈层（如“露营装备DIY爱好者”）人

6、群包Item list人群包Item list132建模方案延迟高，吞吐低，计算大落地挑战方案应用02.落地挑战落地挑战落地目标02.落地挑战低延迟高吞吐 高可用推理延迟过高耗时问题：高实时响应要求耗时问题：高实时响应要求TokenToken过长：输入输出大小与过长：输入输出大小与推理时长正相关推理时长正相关计算瓶颈算力需求：算力需求：TransformerTransformer动态负载动态负载：PrefillPrefill&DecodeDecode内存瓶颈显存：显存：KV cacheKV cache长期占用长期占用模型更新：双模型更新：双BufferB