Datafun-下午-3th-腾讯内容生态实时信号系统实践-杨浩.pdf

《Datafun-下午-3th-腾讯内容生态实时信号系统实践-杨浩.pdf》由会员分享，可在线阅读，更多相关《Datafun-下午-3th-腾讯内容生态实时信号系统实践-杨浩.pdf（25页珍藏版）》请在三个皮匠报告文库上搜索。

1、腾讯内容生态实时信号系统实践杨浩 腾讯 数据研发工程师|01实时信号应用02问题与挑战03架构和解决方案04未来规划目录CONTENT|01实时信号应用内容质量智能审核内容周期智能管理内容加工智能路由内容创作精细运营信号应用内容质量智能审核|模型训练规则配置消费流水窗口指标规则引擎信号审核窗口计算模型训练实时审核KEY：内容ID、渠道步长：1分钟指标：1天vv、30天vv、累计vv等构建智能审核机制，可以保障内容更高效的分发，更快地触达用户信号应用内容周期智能管理消费流水适配少量场景适配全量场景阈值匹配模型训练阈值降低成本，不影响体验冷内容热内容CDN微服务数据服务内容浏览闭环解决用户对冷热视

2、频不同服务能力的需求，保障用户体验，降低内容服务成本体验优先，高昂适配成本信号应用内容加工智能路由|事件流水执行节点执行节点执行节点调度器实时流加工特征信号性能数据采集，算法、耗时、状态等不同算法的95分位耗时、成功率等通过实时性能反馈，提升智能调度效果，减少加工耗时，提升成功率信号应用内容创作精细运营|内容创作运营平台运营人员创作者发起运营发文激励特征信号实时加工达标判断消费浏览、播放时长互动赞、收藏、评论提供实时活动达标判断能力，提升运营活动效果|02问题与挑战问题与挑战|数据源数据源完整性、内容One ID信号加工信号加工时效性、稳定性数据治理数据治理全流程、全生命周期 可观测性：链路长

3、，感知和定位问题慢 退场机制：探索性需求多、资源消耗大 滑动窗口：大窗口、高成本 数据拼接：TB级、可用性低信号触发信号触发统一引擎、一键配置 规则引擎：烟囱式开发、需求响应慢 高效匹配：日千亿次规则匹配 自适应感知：Topic动态拓展、集群各异 ID映射：ID编码各异、十万QPS问题与挑战|03架构与解决方案数据接入信号生产规则引擎数据治理整体架构信号应用内容创作精细运营内容加工智能路由内容周期智能管理内容质量智能审核规则引擎规则管理匹配优化规则执行去重分发数据治理信号工厂分层体系信号生产日千亿次滑动大窗口计算延迟流数据滚动大窗口TB级实时流数据拼接融合批数据重建流状态单体流量适应水平扩展输

4、出小文件数自适应流量数据接入动态多源ID映射渠道衍生数据清洗原始数据内容消费流水内容加工流水内容生产流水元数据管理数据退场可观测性高可用数据接入动态实时源自适应感知|KAFKA：100+拓扑流，动态拓展，无法正则匹配Flink自适应Source1001拓扑消息队列1002拓扑消息队列效果效果 数据完整性：自适应感知动态添加的Topic 数据时效性：为数据量突增的Topic添加消费资源1003拓扑消息队列10021003配置中心控制器模块新增Topic监听数据吞吐监控新增Topic时，会自动注册数据量变大，调整并行度拓扑ID并行度Kafka配置10011sever topic10022sever

5、 topic10033sever topicTASK3线程池10021003TASK2线程池10011003TASK1线程池核心问题核心问题内容处理系统100多条处理链路，对应100多条消息队列，集群各异，且持续增加，Flink原生无法自动感知。|渠道消费流水十万级QPSID映射服务二级ID映射可以映射渠道，渠道ID-中台ID未能映射渠道，渠道ID-TTL：7天，LRUTTL：1小时，FIFOFlinkState一级ID映射获取缓存中的中台ID远程ID映射更新Flink状态返回中台ID含中台ID的消费流水是否有缓存否是数据接入十万级QPS高并发ID映射核心问题核心问题 数据孤岛：各个渠道有自己

6、的内容ID体系 资源开销大：十万级QPS，IO大效果效果 打通中台ID 节省百倍计算资源上次处理时间Key是内容IDFlinkKeyedState取C时刻流量大窗口指标IT是否信号生产滑动大窗口计算场景：场景：每分钟滑动一次，同时计算3min、24小时等窗口问题：问题：状态膨胀、定时器多，资源消耗大上一次窗口指标分钟流量直接累加：跳过C-I到C间流量IT/2去头取尾：复用上一次窗口指标是否方法：方法：状态&结果复用，自适应流量稀疏效果：效果：可有效支撑多种滑动窗口同时计算，节省数倍资源消费流水计算间隔计算分钟级流量更新状态说明说明T：窗口大小，如24小时I：上次处理时间距离现在间隔C：当前时间

7、消费流水首次时间Key是内容IDFlinkKeyedState取累计流量输出超大窗口指标首次时间是否N天内是否信号生产超大滑动窗口计算背景：背景：每分钟滑动一次，计算30天等超大滑动窗口指标。状态极大，资源开销无法承受效果：效果：半天精度，以30天为例，成本降低到千分之一、精度只损失了百分之一计算分钟级流量累计流量日期流量取过去N天流量+当天流量值15点前取过去N-1天流量+当天流量值是否状态更新源2信号生产TB级实时流数据拼接背景：背景：TB级数据拼接，计算慢、状态易丢失，Flink难以支持效果：效果：高可用&秒级时效源3源1单源特征抽取内容A：k1,v1内容B：k1,v1内内内内内内内内容

8、容容容容容容容C A D B C A B A单源特征抽取内容A：k1,v1内容B：k1,v1单源特征抽取内容A：k1,v1内容B：k1,v1触发消息队列基于变更内容ID获取全量特征业务系统HBase随机主键批量访问过期机制存储压缩步骤1.内容特征同步HBase步骤1步骤1步骤2.推送有变更的内容步骤2步骤2步骤3.感知内容步骤4.拉取全量特征步骤5.入库数据存储：Rowkey为内容ID，每个特征一列内容A:k1:v1,k2:v2,k3:v3内容B:k1:v1,k2:v2,k3:v3阶段2：特征输出阶段1：特征拼接基于规则引擎的实时信号触发器|静态规则规则管理规则配置预估模块规则列表规则、阈值规

9、则执行引擎业务方信号接入固定规则匹配规则路由配置加载实时信号实时信号信号输出信号分发信号去重信号接入实时信号按规则分发实时信号动态规则阈值同步动态阈值服务阈值查询规则管理平台信号去重分发业务系统动态规则匹配信号触发场景一键支持，秒级触发规则信息|规则规则条件表达式规则动作逻辑表达式携带信息执行动作逻辑操作符And/Or运算表达式表达式字段表达式操作符字段取值整型、字符串、浮点、=、0.04 s规则ID，内容ID阈值服务请求阈值规则ID，内容ID阈值服务应用内状态拉取内容的阈值引入缓存后，节省百倍资源匹配引擎二级缓存预编译a)常规方案b)引入二级缓存|数据治理端到端全链路服务可观测性数据染色时效

10、性统计延迟监控可观测性分析背景端到端链路长，延迟难以感知，定位时间长效果易于感知延迟，端到端定位问题节点时间：小时级分钟级输入加工输出解码还原血缘缓存数据抽样新增血缘编码内存缓存：任务的血缘关系，每个环节对应一个加工程序环节1时间源1时间源2时间源3时间环节3时间环节2时间环节4时间环节N时间模块示意图APP数据染色全链路端到端延迟分析数据治理退场背景不确定性强，探索性需求多，成本不断膨胀效果无效服务下线，整体成本可控看板等长时间无人用DB、Kafka等存储无访问记录联系下游不再使用梳理服务使用方Tips:分摊成本可更好让对方配合惰性删除，高成本DB需让TTL强制生效下线无用服务分析访问记录联系下游冷数据：离线分析优化TTL热数据：保留下线数据治理旁路系统保障状态高可用背景部分场景对数据一致性要求极高，但是依赖众多，导致状态小概率丢失效果核心场景数据100%可靠RedisKey-State旁路系统：同步核心状态Kafka状态恢复MapState存在Redis存在Rockstate:MapState加工状态同步输入KeyFlink基于状态的加工过程如果本地状态丢失，回写历史状态否是|04未来规划业务支撑流批一体资源优化未来规划|业务支撑精细化运营需求核心能力实时化流批一体一套代码，两种执行模式一套系统，统一技术栈一套运维，统一资源调度资源优化资源弹性自适应存储优化非常感谢您的观看|