02-尹铭佳.pdf

1、演讲嘉宾：尹铭佳生成式推荐研究进展生成式推荐研究进展中国科学技术大学 认知智能全国重点实验室2/31将传统推荐小模型像语言模型做大做深，并使其具备在推荐任务上的scaling law 推荐任务-序列生成任务：将输入的各项异构特征整合和编码成一个统一的时间序列，并将召回、排序等推荐任务重构为统一的Seq2Seq序列生成任务，设计基于transformer的架构生成下一个token 涌现能力：生成式推荐大模型应具备类似通用大语言模型的涌现能力，能够深度挖掘用户与物品的协同关联输入异构的用户行为序列生成下一个物品生成对当前物品的反馈训练：自回归生成下一时间步token生成式推荐模型的scaling

2、law定性结论Zhai J,Liao L,Liu X,et al.Actions speak louder than words:Trillion-parameter sequential transducers for generative recommendationsJ.arXiv preprint arXiv:2402.17152,2024.3/31将传统推荐小模型像语言模型做大做深，并使其具备在推荐任务上的scaling law 具备高扩展性：能够利用多模态异质数据进行训练，支持多种不同下游推荐任务，通过扩展模型参数和数据规模来提升性能，并快速更新与实时响应推荐大模型研究分类数据工程

3、复杂场景多任务训练推理优化模型架构数据扩展规律探索推荐数据质量定义与提升方法参数扩展规律探索高效模型架构设计复杂特征交叉建模多场景联合建模复杂用户行为建模多任务协同能力软硬件协同优化流式数据管理与更新资源部署与高效推理4/31Model-centric研究：架构设计及全链路优化可扩展推荐框架设计生成式推荐大模型Scaling Law研究探寻模型参数优化上限，数据数量与质量影响因子数据侧指导模型侧指导召回精排统一框架用数据突破模型上限模型扩展优化数据建模全链路增强模型可扩展性，实现精准数据建模模型表现定律研究推荐扩展定律分析定性比较模型性能难预测，结果迭代慢定量分析指导推荐大模型训练，降低尝试成

4、本Data-centric大模型研究：数据生成与压缩多样化数据重生成增强数据质量，突破模型性能上限近似无损的高效数据蒸馏5/31Model-centric研究：架构设计及全链路优化可扩展推荐框架设计生成式推荐大模型Scaling Law研究探寻模型参数优化上限，数据数量与质量影响因子数据侧指导模型侧指导召回精排统一框架用数据突破模型上限模型扩展优化数据建模全链路增强模型可扩展性，实现精准数据建模模型表现定律研究推荐扩展定律分析定性比较模型性能难预测，结果迭代慢定量分析指导推荐大模型训练，降低尝试成本Data-centric大模型研究：数据生成与压缩多样化数据重生成增强数据质量，突破模型性能上限

5、近似无损的高效数据蒸馏6/31 对每个领域进行最优参数搜索对于模型规模尝试成本高，结果迭代慢。需要研究数据、模型规律如何指导大模型的训练关键动机领域数据集之间存在较大质量差异，结构差异不同数据集拟合曲线差异巨大现有的Scaling Law往往只对模型大小、数据规模大小对损失的影响进行分析，忽视数据质量重要性Shen T,Wang H,Wu C,et al.Predictive Models in Sequential Recommendations:Bridging Performance Laws with Data Quality InsightsJ.arXiv preprint arXi

6、v:2412.00430,2024.7/31 引入序列熵评估数据质量，有效提升领域内模型损失预测能力设计方法验证数据质量与数据规模呈正比，与近似熵ApEn呈反比，验证模型损失与数据质量Scaling Law成立引入近似熵ApEn，近似熵越低，数据重复率越低，信息密度越高，数据质量越好 引入数据质量系数近似熵ApEn，扩展传统Scaling Law通用大模型Scaling Law领域模型Scaling Law的数据参数扩展 模型损失与数据质量间Scaling Law实验验证Shen T,Wang H,Wu C,et al.Predictive Models in Sequential Recom