钟灵-推荐系统降本增效探索实践.pdf

《钟灵-推荐系统降本增效探索实践.pdf》由会员分享，可在线阅读，更多相关《钟灵-推荐系统降本增效探索实践.pdf（23页珍藏版）》请在三个皮匠报告上搜索。

1、DataFunSummit#2024阿里云计算平台事业部-人工智能平台（PAI）推荐系统降本增效探索实践钟灵：PAI-Rec推荐系统开发平台负责人推荐系统的挑战推荐算法定制：产出召回、排序、引擎配置代码FeatureStore：一次开发、打通离线和在线部署EasyRec和组件化：加快创建新模型TorchEasyRec训练和SOK/GPU推理加速PAI-REC引擎降低部署成本A/B test服务与特征一致性实现效果迭代主要内容介绍推荐系统的挑战推荐系统的挑战推荐算法链路模型研发时间训练资源消耗在线推理成本1.数据处理2.样本加工3.算法选型4.离线调试5.引擎部署6.服务AB1-数据处理：数据采

2、集、清洗、表定义、数据导入错误处理、质量评测等2-样本加工：样本打标、采样处理、特征拼接3-算法选型：召回、排序算法选择，算法参数调试4-离线调试：离线表注册AUC/HitRate/MASE等评估指标丰富5-引擎部署实时召回、实时查询、在线推理引擎服务部署，且正常时延内产出结果6-服务上线结合页面调用，配合QPS处理、兜底处理，渲染推荐结果推荐系统开发：产出召回、排序、引擎配置推荐系统开发：产出召回、排序、引擎配置代码代码召回排序模型训练效果评估引擎服务排查工具离在线测试线上实验实验迭代运营干预数据分析数据诊断1.基础统计：特征值分布（数值、类别、多值）2.用户和物品的变化率分析3.事件转化率

3、、异常转化率4.行为表关联分析5.用户偏好周期分析数据诊断分层AB实验管理实验指标管理和计算天级和小时级实验报表实验平台开源引擎代码配置完成推荐流程可自定义业务逻辑可融合到已有系统PAI-Rec 引擎特征工程召回算法排序算法一键部署EasyRec组件化算法推荐算法定制一致性检查用户行为查询推荐结果诊断i2i诊断召回串分析排查工具流量调控黑白名单设置物品权重运营干预工具全链路推荐算法定制全链路推荐算法定制（PAIPAI-RECREC）相关云产品）相关云产品数据加工训练&推理MaxCompute用户表物品表DataWorks用户特征物品特征样本特征实时计算 Flink行为日志ETL行为序列实时特征

4、PAI（EasyRec推荐算法框架）HologresX2i召回Hologres在线存储向量召回PAI-EASOSS中转模型文件推荐服务用户曝光请求推荐模块多路召回曝光去重过滤排序查询top kPAI-REC推荐引擎EasyRec Processor召回模型排序模型在线学习PAI-REC：推荐算法定制重排实体PAI-FeatureStore视图Label用户行为表三张表召回配置特征配置排序配置代码部署引擎部署Datahub1.数据处理2.样本加工3.算法选型4.离线调试5.引擎部署6.服务上线 第一周准备基础数据使用数据诊断工具，完成数据质量评测与调优 第二周配置数据表、召回、特征、排序等算法策

5、略，一键生成部署脚本，将离线模板部署到DataWorks中结合上下游数据、AUC指标等，完成离线调试推荐算法定制：一键生成脚本，完成离线链路部署推荐算法定制：一键生成脚本，完成离线链路部署提供页面式的算法链路配置服务，只需选配即可生成离线模板引擎和上线：轻松串通上下游引擎、完成在线服务部署引擎和上线：轻松串通上下游引擎、完成在线服务部署提供对引擎、服务的便捷配置发布功能，通过镜像版本进行代码管理与更新 第三周开通在线引擎（召回、实时特征、推理等）创建引擎配置单，根据召回、排序模型的输入输出配置json文件，发布上线 第四周根据模板完成AK替换后前往PAI-EAS部署业务引擎代码，按照Step

6、By Step引导完成预发调试，与生产环境发布1.数据处理2.样本加工3.算法选型4.离线调试5.引擎部署6.服务上线FeatureStoreFeatureStore：一次开发、打通离线和在线部署：一次开发、打通离线和在线部署模型训练离线特征1UserFS sdk读取特征组装Batch特征MaxCompute缓存物品特征ItemHologres/OTS/GraphComputeFeatureDBEntity和FeatureView离线和在线数据同步PAI-Rec通过FS sdk 读用户特征User-item行为label数据离线特征2实时特征user1user2实时特征实时序列特征训练样本FG