02-基于云原生Serverless和消息服务技术采集全球分布业务数据实践-马腾.pdf

1、基于云原生Serverless和消息服务同步全球分布业务数据实践马腾/资深云解决方案架构师微软（中国）有限公司议程解决方案背景多种方案架构对比解决方案技术挑战技术架构设计经验总结解决方案背景客户是中国Top3的手机厂商和互联网公司，海外业务全球分布（美洲、亚洲、欧洲、非洲等）依照各区域的数据合规性要求，每个业务系统数据需要在各个洲独立存储，主要是结构化数据。业务场景需要应用及数据集成，将海外业务数据与中国数据中心数据同步不同的业务场景需要实现不同的实时性要求，主要是准实时（1分钟内）和每天或每月定期同步。国内售后CRM-海外售后CRM双向定时同步业务场景 ：订单，定价，促销策略等业务数据在国内

2、CRM与海外CRM之间异步定时复制SQL Server海外Dynamics 365国内Dynamics数据同步方案？Dynamic（On-premise）东南亚欧洲拉丁美洲技术方案对比云原生Serverless+消息服务云原生数据ETL工具云端VM/容器服务数据库自带的数据同步功能技术解决方案架构对比数据实时性成本可靠性安全性性能/弹性运维（精力）云原生云原生Serverless（FaaS）+消息服务消息服务实时或准实时低高高强低云原生数据云原生数据ETL工具工具以定时大批量数据同步为主，可以实现准实时中高高强低云端云端VM或云原生容器服务或云原生容器服务通过自行实现数据同步逻辑可实现实时或准

3、实时高中（需使用其他组件共同保障）中（需使用其他组件共同保障）中高数据库自带的数据同步功数据库自带的数据同步功能能实时或准实时，使用场景受制于数据库部署环境低低高低中技术挑战Serverless计算资源如何保证可靠扩展性和可靠性？Serverless冷启动问题：如何实现低延迟的计算实例启动？Serverless函数如何监控，诊断，链路追踪？消息服务如何保障“高价值消息”不丢失不重复，先进先出？消息队列异常消息如何处理？消息队列如何实现并发处理机制？消息服务特性使用场景Azure Service Bus支持多种消息传递模式，包括队列、主题和订阅。可靠性、安全性和可伸缩性高。提供定时消息传递、消息

4、回溯、基于身份验证和授权的访问控制等高级功能。适用于“高价值业务消息高价值业务消息”传递场景。例如异步通信、任务分发、应用程序集成等。Azure Event Hub大规模、高吞吐量用于传输大量的事件数据，例如传感器数据、日志数据、跟踪数据等。Azure IoT Hub专门为物联网应用程序设计的消息传递服务。它支持多种协议，例如 AMQP、MQTT 和 HTTP，以及各种设备和平台连接和管理大规模 IoT 设备，并可将设备数据发送到云中进行分析和处理。HD Insight-Kafka分布式流数据平台，提供了高吞吐量、低延迟、高可用性、可扩展性和容错性等特性大规模流数据处理的场景，例如实时数据分析

5、、数据流管道等Azure上多种消息服务如何选择？方案架构设计数据同步基于消息队列加Serverless架构实现准实时数据同步方案通过消息队列实现异步解耦基于Serverless FaaS架构，实现高可靠、高可扩展、低成本技术方案国内售后CRM-海外售后CRM双向定时同步业务场景 ：公用业务数据，订单，价格，促销策略等业务数据“定时批量定时批量”在国内CRM与海外CRM之间异步定时复制SQL Server海外 CRM国内CRMAzure Data Factory(ETL工具)Dynamics（On-premise）东南亚欧洲拉丁美洲Azure GlobalAzure Data Factory国内

6、服务国内服务CRM-CRM-海外服务海外服务CRMCRM双向数据实时同步双向数据实时同步业务场景 ：订单数据由海外CRM同步到国内CRM（实时或准实时同步实时或准实时同步，要求要求1分钟内分钟内）海外CRM国内CRMAzure GlobalDynamic（On-premise）东南亚欧洲拉丁美洲Azure GlobalAzure FunctionsPluginPluginPlugin触发器Azure Service Bus代码Azure Functions+Service BusFunction as a Serv