施兴从大数据到大模型：搜索推荐技术的前沿探索-20240706.pdf

1、推荐搜索技术的前沿探索施兴（叔宝）阿里云从大数据到大模型推荐搜索广告架构大模型的探索工程算法实践与沉淀Architecture 推荐搜索广告技术架构 大数据+AI一体化Engineering FeatureStore 训练推理加速 EasyRec开源算法库LLM 推荐广告结合LLM PAI-RAG搜索推荐广告技术架构 PAI-REC企业级推荐系统服务-基于阿里巴巴集团最佳实践搭建全链路推荐系统User：访问序列相关性：i2i、Cate2iItem：实时/离线特征User：短期/长期特征实时特征计算数据清洗和实时样本生成实时用户和Item特征拼接语义特征提取相似性查询热门排行榜实时样本请求结果和

2、特征离线统计特征Item，User向量库协同过滤GDBT/FM/LRDeepFM/DSSM/ESSMWord2vec/Bert生成模型Item EmbeddingDBMTL/FM/DeepFM等标签、分类多路召回、曝光过滤粗排、精排实验策略（打散策略、新品曝光）日志：结果、实验信息实时采集后端日志曝光点击收藏评论等用户(+query)请求结果在线引擎离线平台实时计算App/Web端特征平台业务引擎+AB向量引擎模型服务实时计算引擎大数据计算平台AI平台EasyRec数据上云流式计算计算基础设施计算资源调度服务PAI-灵骏智能计算集群云服务器ECS/容器服务ACKCPUGPU高性能RDMA网络文

3、件存储CPFS对象存储OSSNAS盘古ODPS 飞天集群应用场景数字人智能设计智慧法律智能海关智能物流工业视觉智能推荐PAI-REC开放搜索OpenSearch广告用户增长PAI-UG电子商务智慧医疗自动驾驶模型&服务模型服务 PAI-DashScope通义-万相通义 听悟通义-千问大数据AI一体化PaaS平台大数据开发与治理-DataWorks数据建模数据开发数据治理数据质量数据安全交互式建模PAI-DSW可视化建模PAI-Designer数据标注PAI-iTAGMaxComputeHologresFlink模型训练PAI-DLCEMRElasticSearchDLF生态模型服务PAI-EA

4、S推理加速PAI-Blade训练加速EPL，TorchAcc数据加速DataSetAcc数据集成流计算DataHub搬站工具实时离线一体流批一体湖仓一体大数据AI一体特征平台FeatureStoreAI开发AI计算ODPS开源大数据阿里巴巴大数据&AI平台体系数据上云流式计算计算基础设施计算资源调度服务模型&服务通义-万相通义 听悟大数据AI一体化PaaS平台大数据开发与治理-DataWorks数据建模数据开发数据治理数据质量数据安全MaxComputeHologresFlinkEMRElasticSearchDLF生态数据集成流计算DataHub搬站工具实时离线一体流批一体湖仓一体大数据AI

5、一体交互式建模PAI-DSW可视化建模PAI-Designer数据标注PAI-iTAG模型训练PAI-DLC模型服务PAI-EAS推理加速PAI-Blade训练加速EPL，TorchAcc数据加速DataSetAcc特征平台FeatureStoreODPS开源大数据通义-千问应用场景数字人智能设计智慧法律智能海关智能物流智能推荐PAI-REC开放搜索OpenSearch广告用户增长PAI-UG电子商务智慧医疗自动驾驶工业视觉阿里巴巴大数据&AI平台体系数据上云流式计算计算基础设施计算资源调度服务模型&服务通义-万相通义 听悟大数据AI一体化PaaS平台数据建模数据开发数据治理数据质量数据安全M

6、axComputeHologresFlinkEMRElasticSearchDLF生态数据集成流计算DataHub搬站工具AI开发AI计算通义-千问应用场景数字人智能设计智慧法律智能海关智能物流智能推荐PAI-REC开放搜索OpenSearch广告用户增长PAI-UG电子商务智慧医疗自动驾驶工业视觉交互式建模PAI-DSW可视化建模PAI-Designer数据标注PAI-iTAG模型训练PAI-DLC模型服务PAI-EAS推理加速PAI-Blade训练加速EPL，TorchAcc数据加速DataSetAcc特征平台FeatureStore阿里巴巴大数据&AI平台体系数据上云流式计算计算基础设施