周国睿-AICon - 推荐大模型-final.pdf

1、01传统推荐级联架构的规模化瓶颈与范式局限Scaling LawMFUMFURule-2Model-iModel-jModel-1Model-jLNLNM4oELNLNM4oE粗排精排Rule-1User/Item DataServerLog02OneRec：端到端生成式推荐的系统验证 在item id空间求解，I稀疏性高code book 10B量级 可学习的共现n-gram信息较少 压缩能力有限求解空间(Generative Model)(,)在抽象语义空间求解，codebook 100K量级 共现n-gram信息多，有更多信息可被学习 压缩能力强求解空间 宽度搜索 多个Item间计算独立

2、 可以增加胜率但是不能增加智能求解过程 深度搜索 每个Token激活模型中不同的知识 每一步解码都在参考前一步的知识，智能上界随解码token量增加求解过程(Discriminative Model),OneRecRewardSystemDecoderBeTBehavior TransformerOneRec1,2,User InfoContext InfoItem InfoSemantic IDs(SID)Video ID12kOnline LearningOptimizeTokenizerTokenizerTrain PhaseInfer PhaseSelect(optional)Samp

3、ling(passk)Pre-train LossPost-train LossMappingOneRecTokenizer-=Codebook 1Codebook 2Codebook 3-=-=Item semantic identifiers(3,4,1)centroidK-means Clusteringembedding 11213141Nearest Code SearchNearest Code SearchNearest Code Search1222324213233343224232124323331311213141VLMQFormerLLM VLMQFormerLLMK/

4、VK/VQQ embedding caption_caption_2:#滑雪的快乐#滑雪#初学者 充实的一天，收货满满的一天，抓住冬天的尾巴，总算没白来！1 封面+5 抽帧#冰雪世界#冬季运动#滑雪乐趣#亨受运动带来的快乐快来滑雪吧，真好玩1 封面+5 抽帧OneRecTokenizerVLMQFormerLLM VLMQFormerLLMK/VK/VQQ-=Codebook 1Codebook 2Codebook 3-=-=Item semantic identifiers(3,4,1)centroidK-means Clusteringembedding embedding 1121314

5、1Nearest Code SearchNearest Code SearchNearest Code Search1222324213233343224232124323331311213141caption_caption_2:#滑雪的快乐#滑雪#初学者 充实的一天，收货满满的一天，抓住冬天的尾巴，总算没白来！1 封面+5 抽帧#冰雪世界#冬季运动#滑雪乐趣#亨受运动带来的快乐快来滑雪吧，真好玩1 封面+5 抽帧OneRecTokenizerOneRecReward SystemOneRec：硬规则降权Reward机制过滤限制透出端到端强化学习非最优解模型至少在求最优解规则维护复杂灵活增加

6、reward自适应优化OneRec：在端到端学习框架下，给OneRec增加一项reward，告诉他什么是好，什么是不好即可。同时模型只需要采样约0.1%的样本进行强化学习即可将该类内容控制在预期比例。OneRec：DecoderEncodervideo1video2videokMappingSID TokensVideo IDOneRec：OneRec：OneRec：取消降级实验0.00%1.00%2.00%3.00%4.00%5.00%6.00%7.00%8.00%123456789 10 11 12 13 14