字节跳动Serverless容灾实践

1、划和展望规划和展望经典案例分享经典案例分享专项测试平台建设分享大纲主办方,背景和团队介绍规划和展望经典案例分享专项测试平台建设分享目录主办方,背景,全景式优化和提升短视频体验短视频用户的整个体验周期是什么商店下载安装启动应用,登录,浏览视频。

2、能团队负责人履历,先后就职于腾讯,百度等互联公司专业,主要从事工程效能质量保障领域相关作,包括工程效能服务化,算法应用研究,质量保障团队管理等2019年加字节跳动请插入您的照片讲师简讲师简介介,主办方,目录讲师简介背景AI技术赋能反馈中台的。

3、未来规划整体介绍在字节跳动的发展历程,开源,开始基于,分支构建内部的平台,基于,的平台上线,上线基于,平台,上线基于,平台,贡献一名,批流一体落地基于,的扩展,扩展,计算列,声明,自定义,维表。

4、涌现大量测试方法论和工具链服务化建设,这两年在国内互联网界,智能测试方兴未艾,结合字节跳动互娱质量保障的实践,介绍下AI是怎么赋能智能测试的,剪映,抖音官方剪辑工具产品目标,n国际化出海n核心剪辑工具,剪同款,出海演示Demo,剪同款模板剪。

5、量覆盖率监测数据传输产品拆分数据聚合覆盖率计算仓库源码关联报告存储编译平台上传插桩信息覆盖率插桩产物部署执上报数据新建全量查看全量名单数据消费新建增量查看增量名单被插桩模块模块1模块2起区间增量运算数据匹配增量分析代码克隆商3,0,多业务多。

6、rowingrequirementswithfi,edresourcesNeedtoachievemorewithlessbatteryconsumptionImplementationcomple,ityAlmostmonolithica。

7、任务,需求,延迟敏感,时效性要求高,规则动态更新数据分流场景需求,要求,不接受断流,数据延迟,分流规则动态更新抖音埋点电商直播短视频抖音埋点电商直播短视频数据流挑战任务规模大峰值流量超亿秒流量大数据链路最上游业务多需求变化频繁业务多稳定性时。

8、大量的数据量和计算量,EB级别海量的存储空间每天平均70PB数据的增量每秒钟百万次数的实时推荐请求超过400万核的流式计算资源,500万核的批式计算资源巨大的挑战巨大的挑战目前目前遇到的遇到的典型问题典型问题一,一,数据和系统冗余问题数据和。

9、成方每日超过,用户通过第三方平台集成的方式间接使用,风神,发展历程,查询,可视化查询丰富的展现形式数据集便捷的数据导入项目中心用户,权限管理大屏移动端更丰富的展示形式开放平台更方便地被集成多语言多时区更好地服务海外用户仪表盘多图表的展示和分。

10、天埋点量1亿,秒峰值流量埋点成本治理背景,为什么要治理埋点机器资源成本运维SLA埋点成本治理背景,在字节内取得的效果与收益应用于抖音,头条等多个业务,覆盖85,业务通过无用埋点下线,在2021年节省成本近亿元通过埋点分级,节省100,PBH。

11、地保障治理大目标,无法顾及业务个性需求ROI评估,治理收益,时间周期,业务影响人员能力参差不齐,对齐目标和优先级困难治理操作依靠人,规范对人的偏差操作容忍度低组织文化差异,数据治理落地的方法,挑战,成效各异角色多,范围广,链路长治理目标对齐。

12、接受断流,数据延迟2,分流规则动态更新业务场景,容灾降级,需求1,支持多机房容灾部署2,具备机房间快速切流能力3,具备服务降级能力埋点数据流遇到的挑战,流量大业务多稳定性治理成本治理埋点数据流建设实践02,ETL链路建设,发展历程,2018。

13、不可避免的会出现一些偏临时,偏刚性的要求和机制,在完成合规要求的同时,必须兼顾内部业务运转的效率治理原则保证合规,兼顾效率字节跳动大数据安全产品体系,安全原则法律法规制度国家安全法数据安全法个人信息保护法个人数据使用规范数据权限审批流程PI。

14、务现状与背景介绍架构简介环境管理与组件服务统一的日志监控告警业务现状与背景介绍背景介绍组件繁多大数据领域很多工作都需要众多组件配合完成部署复杂部署一套完整的生产环境需要管理复杂的依赖条件和配置输入环境耦合组件与所在环境耦合严重,移植困难云原。

15、自研单集群节点,单集群数据量,三机房架构阶段三,全面支持近在线业务单集群节点,单集群数据量,多机房架构字节跳动架构,及限流,白名单统计基线配置元数据,如,等,层为联邦集群提供全局统一的目录视图限流熔断权限元数据层,版本,共享的存储数据层,数。