2017年微信社交广告核心架构与图计算存储.pdf

1、微信广告社交推荐架构与图计算 微信广告 GraphRec 图推荐系统介绍 挑战 挖掘社交广告价值 话题效果差 允许合约保量投放 宽定向 量有保证，效果不确定 窄定向 量无保证，效果变优 品牌广告主更注重品牌影响力的提升 效果广告只关注点击率和转化率 品牌广告主痛点 我们的目标 Guaranteed Delivery 投放算法量和质很难达到平衡 优化效果 结合社交网络 图储存 多目标行为 种子人群?择优人群 传播人群 广告检索 广告排序 广告曝光 社交推荐 社交图谱 兴趣图谱 用户活跃度 个人拉取机会 影响力计算 速览 融合社交推荐的广告系统架构 种子人群挖掘 1 种子人群挖掘策略 大规模 Lo

2、okalike 挖掘 图特征学习 Network Embedding 训 练 集 好友关系网络 好友沟通 网络 行为网络 模型训练评估 测试 集 LR Top人群选择 社交特征 亲密行为特征 兴趣行为特征 活跃行为特征 验 证 集 正例人群扩展 负例人群精选 特征交叉GBDT 组合特征学习 图特征 基础特征 原始特征构造 PULearning 扩大种子人群范围 画像KV 更新服务 Batch View Realtime View uin1 uin2 uinN 更新服务 动态画像服务 写入 人群管理系统 用户画像 合并 Batch Layer Speed Layer Serving Layer

3、uin1 uin2 uinN 写入 种子人群挖掘架构 借鉴 Lambda 架构思想解决大规模数据写入问题 在线社交推荐系统 2 社交波纹传播 图推荐系统 GraphRec 影响力构建 圈子影响 保量反馈模块 广告定向树拆分 个体行为预估 好友影响 库存预估 实时消耗计算 广告传播速度 社会传播学 个人拉取时机 社交推荐框架?广告日志上报 广告播放 数据通道 Spark GraphRec 图存储 无索引结构 索引表 兴趣主题模型推荐 智 能 投 放 广告打分 GraphRec 基础组件 Paxos GraphRec 图计算 影响力 社区发现 Social Hash GraphRec 基础模型 深

4、度学习-行为预估 强化学习-优质人群探索 实时流 文件同步 特征抽取 样本抽样 数据校验 数据清洗Social Route BtPipeline API 接入 GraphRec 图推荐系统 GraphRec 推荐引擎 社交关系图上的推荐 AD AD 好友关系 行为关系 相似度 物品识别 素材质量 借助CNN，通过素材丰富特征 实时计算 行为数据 特征存储 DNN多目标同时预测 画像数据 embedding convolution+nonlinearlty max pooling vec2 vec1 fully connected layers cos(1,2)社交推荐阶段一 个体 社交推荐阶段

5、二 好友 Topic1 Topic2 Topic3 .Topic4 Topic5 Topic6 AD AD AD AD Topic1 Topic2 Topic3 .Topic4 Topic5 Topic6 AD AD 社交推荐阶段三 圈子 城市索引 年龄 20岁 城市=深圳 年龄索引 城市=北京 播放速率实时调整 小时 23 0 库存检索 内存索引，快速高效 Select count(*)from 曝光表 where and (or)20岁 北京 深圳 or and 计数 保量控制 基于实时库存的动态速度调节 播放速度调整 实时校准，与推荐算法相结合 库存预估环境复杂 算法过滤，竞价赢取 1

6、0 1 1 1 0 1 0 0 0 0 1 用户互动数据 库存预估模块 SparkStreaming流式计算 广告库 保量控制模块 广告定向拆分模块 AND 20岁 OR OR 男 OR 北京 深圳 保量控制子系统 广告定向拆分的树形结构 保量控制 社交数据图存储 3 算法实现：清晰的逻辑接口 业务要求：低延时 图存储的必要性 同时支持算法实现与业务要求 好友B 广告 用户A 好友C 好友D 好友E KV1 KV2 KV3 传统KV面对关系查询时需要多跳查询，业务实现复杂，调用次数多时延大 结构 属性 ID :1001 Type:user Data:?I