大模型在推荐系统中的落地实践.pdf

1、大模型在推荐系统中的大模型在推荐系统中的落地实践落地实践演讲人：王皓中国科学技术大学 特任副研究员CONTENTS目 录01推荐大模型背景02研究现状03生成式推荐大模型04总结与展望大模型推荐背景推荐系统推荐系统 推荐系统：推荐系统：从用户历史历史行为数据中学习用户行为模式，预测未来未来用户行为 亟待解决的问题亟待解决的问题：推荐数据稀疏数据稀疏，存在大量冷启动冷启动用户与物品，模型难以挖掘用户行为模式协同过滤协同过滤20002000年左右年左右20102010年左右年左右矩阵分解矩阵分解20152015年左右年左右神经网络神经网络今天今天？大模型技术大模型技术大模型技术急速发展，正在成为大

2、模型技术急速发展，正在成为AIAI新范式！新范式！大模型技术优势大模型技术优势 涌现能力涌现能力：模型参数规模参数规模超过某个阈值时，模型精度剧烈增长基础：基础：海量文本的高质量清洗及超大规模语言模型训练大量认知Prompt任务的有监督训练代码、文本数据融合训练人工反馈下的强化学习：注入了人类偏好注入了人类偏好45TB45TB原始海量文本语料570GB570GB清洗后语料(93%是英文)175GB175GB模型（在GPU显存）4040个众包团队个众包团队标注人类反馈数据96%是英文增强增强推理推理激活激活知识知识数万个任务数万个任务PromptPrompt，涉及生成、问答、头脑风暴、闲聊等83

3、0GB830GB代码数据代码数据数据来源：InstructGPT官方论文上亿活跃用户持续上亿活跃用户持续提供数据提供数据文本生成文本生成数学能力数学能力知识问答知识问答逻辑推理逻辑推理语言理解语言理解代码能力代码能力推荐系统推荐系统+大模型大模型 模型泛化性模型泛化性：推荐系统难以适应新任务与新场景新任务与新场景；而大模型推荐能够依赖零零/少样本推理能力少样本推理能力，快速适应新新的推荐任务的推荐任务，高效跨域泛化跨域泛化 表征建模能力表征建模能力：推荐系统缺乏语义信息语义信息；而大模型推荐能提取高质量的文本表示文本表示，并利用编码的世界知识世界知识完善物品理解和用户建模 个性化内容生成个性化

4、内容生成：推荐系统仅能回答用户对给定候选集给定候选集中物品的偏好；而大模型推荐具备生成能力生成能力，可以生成不受限的个性化内容个性化内容，且具备较好的可解释性可解释性大模型推荐大模型推荐 vsvs 纯推荐系统纯推荐系统可解释性可解释性零零/少样本推理少样本推理世界知识、常识世界知识、常识生成能力生成能力研究现状 传统大模型推荐 生成式推荐大模型传统大模型推荐传统大模型推荐 挖掘用户与物品的深度文本语义关联文本语义关联，增强冷启动场景冷启动场景的推荐能力，可解释性强可解释性强 应用模式：应用模式：目前大语言模型的推荐以发挥大语言模型的文本能力为主，可根据其应用模式分为三类：大模型大模型生成表征生

5、成表征+推荐系统推荐系统、大模型生成文本大模型生成文本+推荐系统推荐系统、大模型生成推荐结果大模型生成推荐结果大语言模型与推荐模型的结合大语言模型与推荐模型的结合1).1).大模型生成表征大模型生成表征+推荐系统推荐系统2).2).大模型生成文本大模型生成文本+推荐系统推荐系统3).3).大模型生成推荐结果大模型生成推荐结果Wu L,Zheng Z,Wu L,Zheng Z,QiuQiu Z,et al.A survey on large language models for recommendationJ.Z,et al.A survey on large language models

6、for recommendationJ.arXivarXiv preprint arXiv:2305.19860,preprint arXiv:2305.19860,2023.2023.传统大模型推荐传统大模型推荐1 1：大模型生成表征：大模型生成表征+推荐系统推荐系统研究背景研究背景推荐模型处理文本信息通常依赖文本编码器：编码文本信息能力弱：编码文本信息能力弱：相比小语言模型，大模型自身对文本编码能力文本编码能力强大，能提供高质量表征高质量表征 难以深入理解文本信息：难以深入理解文本信息：凭借着丰富的知识与推理能力，大模型能够引入小语言模型不具有的外部知识外部知识大语言模型的编码结果与实际上