当前位置:首页 > 报告详情

使用 DATABRICKS 迁移和优化大规模流式处理应用程序(重复).pdf

上传人: 张** 编号:167634 2024-06-15 48页 3.73MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文介绍了FreeWheel公司如何将其大规模流媒体应用程序迁移到Databricks,并进行了优化。主要内容包括: 1. 迁移背景:FreeWheel提供广告平台,服务于出版商、广告商和媒体买家。其程序化广告平台Beewsax用于实时广告交易。 2. 迁移目标:通过迁移至Databricks,实现内存泄漏减少、实例失败减少、并发问题消除,并提高系统稳定性、成本效率和可维护性。 3. 迁移策略:采用自顶向下的设计,使用Scala和Java Spark Structured Streaming替代Kinesis Client Library,提高效率。 4. 数据平台架构:数据平台处理约300亿条输入广告事件,每天输入数据量超过4TB。 5. 监控与观测:使用Prometheus和Grafana进行监控,实现实时可视化和数据分析。通过EC2标签和IP重标记解决Prometheus服务发现问题。 6. 性能优化:采用Kryo序列化、优化Spark配置参数、使用lookup表等措施提高性能。 7. 未来工作:尝试Databricks的即将推出的功能,如服务器端流工作流的无服务器计算和自动扩展。 通过这次迁移和优化,FreeWheel提高了数据质量、系统稳定性、成本效率和性能。
"大型流媒体应用如何优化?" "Databricks在广告平台中的应用" "流媒体应用的监控与维护挑战"
客服
商务合作
小程序
服务号
折叠