大数据任务处理最佳实践：如何用Serverless实现事件驱动？.pdf

《大数据任务处理最佳实践：如何用Serverless实现事件驱动？.pdf》由会员分享，可在线阅读，更多相关《大数据任务处理最佳实践：如何用Serverless实现事件驱动？.pdf（20页珍藏版）》请在三个皮匠报告上搜索。

1、事件驱动的Serverless大数据应用张果 量潮科技CEO01 行业背景02 架构选型03 音视频项目实例04 开发者工具目录01 行 业 背 景商业考量商业数据分析虽然涵盖了多样化的方向，但解决核心问题的关键，仍然需要从经济类研究发力1.1 行业场景提前布局2016年至今，为解决相关的痛点问题，全面进行业务上云场景经济类研究经常需要对海量的互联网公开数据进行采集与处理，并完成建模分析与可视化的落地1.2 为什么函数计算更有优势降本增效在减少单任务成本的同时，最大限度保障数据质量与系统的可靠性和稳定性弹性扩缩容面对海量数据，可以精准利用资源，最大限度提高单次任务效率易理解的计算模型为提高业务

2、开发效率，实现面向广泛使用者的目标，选用了更加可靠、便捷的计算模型02 架 构 选 型2.1 函数计算模型事 件 函 数功能：接收事件并且进行处理形式：入口函数形如main_handler(event,context)触 发 器原理：把收到的事件加工，主动地投递给事件函数，触发事件函数运行种类：CLS触发器、COS触发器、API网关等2.2 事件总线与消息队列消息队列订阅某个来源的消息，发布给某个目标。消息队列Plusar原生支持各种订阅模式，并且原生支持重试和死信队列，对于复杂任务的调度更友好。事件总线从一个云服务（事件源）接收事件，经过一定的规则（事件规则）过滤以后投递到另外一个云服务（事

3、件目标）。重点在按照标准事件格式（CloudEvents 1.0）传递事件，以此打通所有云服务。2.3 事件驱动框架整个任务拆分为按步骤执行的多个计算单元。每两个计算单元之间通过事件总线或者消息队列传递消息，构成生产-消费或订阅-发布模型。函数计算函数计算函数计算函数计算事件总线事件总线事件总线03 音 视 频 项 目 实 例3.1 项目需求源 数 据：视频总数为1206个，共计2.87TB；视频体积最大为15.84G，最小在100m以内，平均1-2G目标：计算每个视频每分钟的视频音量平均值3.2 项目架构CFSEBListCOSDownloadEBComputeDB事件总线函数计算存储3.3

4、 TB级项目以天为单位敏捷开发运行时间单个视频平均：下载4分钟，计算40分钟。成本云函数：下载2元，计算125元文件存储：80元对象存储：60元共计约300元代码量代码含单元测试共计102行配置文件68行注释80行开发效率参与人数：3人工时：22天，平均每天2-3小时版本数量：16个，最密集时一天5个版本04 开 发 者 工 具4.1 云SDK在官方SDK的使用中，我们发现各个产品线是原子化、相互割裂的，缺乏一个统一的抽象框架，面对多个产品线的集成需求，缺乏一定的灵活性。为了将各个产品线分散的功能整合化，我们孵化了一套自研SDK，站在整个腾讯云产品的角度对云资源、云事件等构建领域模型，在此基础

5、上封装云API，再基于此封装针对特定场景的集成API，以适应多样化的需求与灵活的解决方案。4.1 云SDKLow-level API（实现与云厂商API协议的基础交互）Integrated API（将High-level API进行集成，提供更多高级功能，解决常见场景问题）High-level API（调用Low-level API，以易用的方式实现云API的功能）命令行工具产品线 moduleDomainmodule领域层应用层用户界面层0102事件投递网络问题：云函数下载过程中即使内网下载也有较严重的网络波动问题，导致数据中途下载失败，对于大体积文件尤为突出。解决方案：将大体积文件进行分段

6、下载，增加断点续传逻辑。对象下载速度问题：事件总线下游云函数弹性并发扩容速度上限为500个/分钟，需求方一次性投递的事件个数超过500个，造成下游云函数产生扩容受限错误；并且由于扩容过快，下游云函数及其挂载的文件存储频繁出现冷启动超时。解决方案：在投递事件时，指定每组事件投递的间隔等待时间，以降低事件投递速度。4.2 Integrated API4.3 在云与用户之间架起桥梁开发阶段Serverless调度器微信SDK内测阶段企业微信SDKCoding SDK社区合作Serv