8-4 字节跳动埋点数据流建设与治理实践.pdf

《8-4 字节跳动埋点数据流建设与治理实践.pdf》由会员分享，可在线阅读，更多相关《8-4 字节跳动埋点数据流建设与治理实践.pdf（27页珍藏版）》请在三个皮匠报告上搜索。

1、字节跳动埋点数据流实践刘石伟 字节跳动-数据平台|01埋点数据流简介埋点数据流简介03埋点数据流治理实践埋点数据流治理实践02埋点数据流建设实践埋点数据流建设实践04未来规划未来规划目录目录CONTENT|埋点数据流简介01|字节跳动埋点数据流|埋点数据流规模|业务场景-UserAction ETL|需求1.延迟敏感，时效性要求高2.ETL规则动态更新业务场景-数据分流|需求1.SLA要求高，不接受断流，数据延迟2.分流规则动态更新业务场景-容灾降级|需求1.支持多机房容灾部署2.具备机房间快速切流能力3.具备服务降级能力埋点数据流遇到的挑战|流量大业务多稳定性治理成本治理埋点数据流建设实践0

2、2|ETL链路建设-发展历程|201820202021PyJStorm-PyFlinkPython规则引擎流式任务托管平台PyFlink-Java FlinkGroovy规则引擎JSON-Protobuf大数据开发平台流量平台Java FlinkJanino规则引擎稳定性治理成本治理埋点治理ETL链路建设-基于规则引擎的Flink ETL|ETL链路建设-规则引擎|code=compile(expr,file,eval)eval(code,udfs,input)view_rulelogic_rulephysical_ruleGroovyClassLoader+DynamicMessagePyt

3、hon Version:Groovy Version:view_rulelogic_rulephysical_ruleClassBodyEvaluator+GeneratedMessageJanino Version:2X10XETL链路建设-Flink拆分任务|1.灰度发布2.Fail-over影响小3.灵活部署容灾与降级能力建设|容灾能力 Flink/MQ/Yarn/HDFS等组件支持多机房容灾 埋点数据流链路多机房容灾部署 多种切流预案一键切换服务降级能力 服务端降级 客户端降级埋点数据流治理实践03|埋点数据流治理实践|稳定性治理单机问题MQ性能问题混布问题成本治理组件选型性能优化埋点

4、治理埋点质量治理脏数据问题字段类型错误数据重复、丢失单机问题优化-Flink BacklogRescale|Credit-based flow control队列CPU利用率提升10%单机load高导致的延迟减少80%+单机问题优化-Yarn优化|独立Label队列DN设置限速反调度策略黑名单调度MQ优化-Databus应用|降低MQ集群写入压力Batch大小可动态配置Zstd压缩，写入带宽降低37%MQ优化-Kafka迁移BMQ|存储计算分离支持多机房容灾成本下降50%成本治理-埋点治理|埋点设计埋点注册埋点验证埋点上报流式ETL埋点分级埋点下线埋点采样埋点管控离线数仓埋点治理-埋点管控|所

5、有埋点先注册后上报动态封禁异常埋点埋点治理-埋点分级|不同等级埋点设置不同TTL保障高优埋点离线下游就绪时间未来规划04|未来规划|计算和存储的流批一体探索云原生架构，动态资源rescale高优链路保障更高的SLA，端到端exactly-once扩展介绍|相关技术实践已通过火山引擎数据中台产品向外部企业输出：相关技术实践已通过火山引擎数据中台产品向外部企业输出：湖仓一体分析服务湖仓一体分析服务 LASLAS：面向湖仓一体架构的Serverless数据处理分析服务，提供一站式的海量数据存储计算和交互分析能力，完全兼容 Spark、Presto、Flink 生态，帮助企业轻松完成数据价值洞察E E-MapReduceMapReduce：Stateless云原生数仓，100%开源兼容，引擎企业级增强，云上便捷运维火山引擎IaaS能力交易系统日志IoT消息文件数据源数据集成（DataLeap）实时集成批量集成数据开发治理（DataLeap）数据开发数据治理数据安全数据分析实时OLAPByteHouse数据集市库开源大数据服务开源大数据服务EMREMR湖仓一体分析服务湖仓一体分析服务LASLAS数据湖/数据仓库平台数据可视化&报表（ABI）BIBI报表报表即席查询即席查询数据挖掘数据挖掘实时分析实时分析