3-优酷-实时数据质量保障体系实践-曹旭.pdf

1、MTSC2020中国互联网测试开发大会深圳站TESTING SUMMITCONFERENCE CHINA 20202020.11.20-21一中国深圳宝立方国际酒店主办方：TesterHame#page#中国互联网测试开发大会。深圳站MTSC实时数据质量保障阿里大文娱人工智能测试-曹旭主办方：TesterHome#page#MTSC中国互联网测试开发大会文娱搜索引擎的数据链路目录02contents实时数据质量体系构建馆全链路数据质量的提效赋能04未来规划主办方TesterHeme#page#文娱搜索中国互联网测试开发大会连接用户、承接内容分发的核心入口MTSCQ提全网定meb你可能在找外医机

2、为你胜多村爱情4乡村爱情数据类型多数据索引量大随时更新变化快主办方：TesterHame#page#实时数链路与质量之痛MTSC中国互联网测试开发大会内容生产数据源内容生产数据多：总量大来源多消息合并重组数据同步关系处理链路复杂：链路长，涉及服务多。实体关系重组三方服务视频节目逻辑复杂：数据关系复杂，业务处中间层消息中间层内容特（MetaQ）Track服务系列理逻辑复杂。数据处理和转发增量入swift问题排查难：数据链路黑盒，随时更新链路变化无迹可寻。ORSHa3索引索引库LDBRDB搜索索引主办方：TesterHame#page#实时数链路质量体系构建中国互联网测试开发大会MTSC紧急干预搜

3、索效果自动保障白湖产品效果监控全链路实时traoo系统准：数据准、业务准白动修复数据一致性监控链路稳定性监控实时debug内容准确性监控服务稳定性监控通：服务通、链路通干预通道时效性监控始效能提升全：数据全、链路全、业务全数据键路服务线下质一致性准确性可用性时效性福等性性能资源主办方：TesterHame#page#实时数据测试：数据一致性MTSC中国互联网测试开发大会一致性：指链路各节点数据消费一致性；采用分时、分频统计，漏斗层级分类比对法。分频：30min1h424h1minnatural：自然业务数据流消费，贴合实际业务场景。high：持续高频数据流，检测压力下Biakudumpcoun

4、t处理能力和优化策略。natural-flowlow：低频或间断数据流，反向检测。mid-dumpunig分时：Funnel-comparehigh-frequeny分时按时间间隔抽样，划分间距根据flowtype-sum需求定，间距越窄越能发现数据处理low-frequeny的稳定性和策略均衡性。ummayai分类：统计指标，包括总量，唯一性，类型、状态、实体等，根据具体业务需要来设定衡量指标主办方：TesterHeme#page#实时数据测试：数据正确性MTSC中国互联网测试开发大会数据正确性：重点指数据内容的正确性。数据实体属性多，以业务使用优先按策略划分优先级保障。通用规则数据选取：实

5、体分类、业务区分、属性特征规则划分前置业务使用业务规则高优数据优先策略：业务属性核心业务相关业务和体验数据高优全检查。业务效果中间层核心实体属性对齐，内容检测。通用规则次优数据中间层核心非业务相关数据与源对齐。业务规则模式：自动化（规则+case沉淀）daily build通用规则中间层其他低优数据上下游比主办方：TesterHame#page#实时数据测试：数据可用性MTSC中国互联网测试开发大会数据可用性：对数据使用方提供的数据是读取高效、存储安全、协议稳定。易读写存储服务一致查询用性安全可靠数据结构易读写：结构化存储，读取高效，业务易用，易于扩展服务一致：同源数据对外一致，版本兼容不同服

6、务方式数据统一（包括数据内容，数据协议）安全可靠：存储稳定、服务可靠、内容安全（不被恶意涂改）主办方：TesterHeme#page#实时数据测试：时效性示例MTSC中国互联网测试开发大会Track信息包含时间时效性计算7.createie=2019-07-1718:1157收息时间=2019-07-17181157传送时间-92处理耗时showidshowld9.createTime=2019-07-1718:12:02收到消息时间=2019-07-1718:1202传送时间=7处理耗时=1showidcroateTime=2019-07-1718:12:07收到消息时间=2019-07-1