当前位置:首页 > 报告详情

海洋清理组织利用 Databricks 努力到 2040 年清除 90% 的海洋塑料.pdf

上传人: 张** 编号:167561 2024-06-15 34页 1.49MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文介绍了RIVER TRASHDETECTION ONDATABRICKS WITHMichael Berk (RSA) & Patrick Leahey (RSA)的项目。该项目的主要目标是将TheOceanCleanup的River Monitoring Systems (RMS)迁移到Databricks,以实现全球范围内的河流垃圾监测。项目分为三个阶段:scoping、projects和marketing fluff。在scoping阶段,关注管道的可靠性和稳定性;在projects阶段,实现了架构审查和设置、RMS管道和数据摄取框架模板;在marketing fluff阶段,通过博客文章、数据+AI峰会演讲等方式进行了宣传。 项目采用增量方式迁移,先对部分相机图像进行处理,再逐步扩大范围。通过Auto Loader和Change Data Feed (CDF)实现增量元数据摄取,利用自定义状态管理进行过滤。此外,项目还采用分布式框架、逻辑分区、并行处理等技术,提高处理效率。 在结果方面,项目实现了集中化的工具、增量处理和Databricks栈的应用。具体成果包括:开源高度并行的ETL、相机监控仪表板(KPI)、DB SQL传统仪表板、总塑料检测(KPI)、DB SQL仪表板+GenAI助手、水位(描述性统计)和DB SQL仪表板+GenAI助手、水位(异常检测)。 项目面临的设计挑战包括:统一工具、强大能力、设计组织政策以扩大规模、迁移和员工教育。下一步计划是让Databricks产品自身证明其价值。
"Databricks如何助力河流垃圾检测?" "如何通过传感器捕捉河流数据?" "在迁移到Databricks时,遇到了哪些挑战和解决方案?"
客服
商务合作
小程序
服务号
折叠