5-5 Serverless ETL：面向百亿市场规模的实时数据集成方案演进之路.pdf

1、Serverless?ETL：?向百亿市场规模的?实时数据集成产品演进之路Ernest?何世友?腾讯云?Serverless?产品中产品负责|01数据处理场景分析268 亿 VS 139 亿，数据集成处理市场淘03SERVERLESS ETL数据处理从重到轻，从批到流，规模和效能，理想的产品形态是什么02数据处理场景典型案数据处理对流转管道和计算形态的诉求是什么录?CONTENT|数据处理场景分析01|数据处理场景定义数据集成和数据处理核问题空间|来源:艾瑞咨询研究院根据公开资料主研究及绘制。?数据处理场景定义数据集成和数据处理核问题空间|数据处理场景定义数据集成和数据处理核问题空间|数据处理

2、场景定义数据集成和数据处理的产品形态发展趋势|数据处理市场空间DATA?INTEGRATION?AND?INTEGRITY(PREPARATION?TOOLS)?SOFTWARE?MARKET|NEW?YORK,?Oct.?27,?2021?(GLOBE?NEWSWIRE)?-?According?to?Acumen?Research?and?Consulting,?the?global?Data?Preparation?Tools?Market?size?is?estimated?to?grow?a?CAGR?above?20%?over?the?forecast?timeframe?and

3、?reach?a?market?value?of?around?USD?13.15?billion?by?2028.?全球数据集成场景的市场空间估算为?31?亿，折合?186?亿民币，年复合增长?20%，预计?2028?年达到?150?亿，折合?900?亿民币。?数据处理市场空间AIRBYTE?硅?ELT?新宠，估值?95?亿|airbyte?主要做的是ELT中的L，就是作为connector,?将各种数据源的数据load到data?warehouse，同时对这些数据源进跟踪管理，E?的部分集成了?dbt。?刚拿到了?1.5?亿?B?轮融资（年内连续三轮融资），估值为?15?亿，折合民币?95

4、?亿。?数据处理市场空间AWS?LAMBDA?在?ETL?场景收超?10?亿|AWS?Lambda?数据处理、ETL类场景，占其收50%，包括来于S3、SQS、kinisis、?ES、katka?等相关?数据Paas服务的事件触发处理，提供数据清洗，数据格式转化，数据分析等场景。典型客户如?Thomson?Reuters、?Netlix，AWS?lambda?有超过15家invoke次数超1000亿?次、GBs峰值消耗超10万美元的的关键户，贡献核收。?数据处理市场空间国内数据中台市场规模，139?亿|伴随着数据量的爆发式增长、数据处理技术的进步，以及数据中台产品逐渐实现商业化、需求端企业对数

5、据中台的认知开?始树，2019年可以称为数据中台元年。当前我国数据中台业处于从萌芽转向速发展的过渡期，整体仍处在相对基础?的发展阶段，但由于企业数字化转型驱动市场需求不断增加，业增长势头明显，市场规模快速扩张。数据处理场景典型案02|数据处理场景典型案ARCHITECTURE?FOR?HIGH-THROUGHPUT?LOW-LATENCY?BIG?DATA?PIPELINE?ON?CLOUD|数据处理场景典型案APACHE?FLINK?推出?STATEFUL?FUNCTION|数据处理场景典型案AWS?推出?EMR、MKS、REDSHIFT?SERVERLESS|Amazon?Redshift

6、、MSK、EMR?和?Kinesis?是?AWS?分析服务套件新推出三种服务器选项和个按需选项。这?4?项服务的推出，可以满户只需要使数据分析功能，需管理基础设施的需求。?Redshift?可在秒钟内动设置和扩展资源，让客户在PB级数据规模运性能作负载，需管理数据仓库集群；EMR让客户需部署、管理和扩展底层基础设施，即可使开源数据框架运分析应程序；Kinesis?On-demand?则可以提供每分钟?GB?级别的读写吞吐量，需进容量规划。?数据处理场景技术痛点切基于消息队列。但和消息队列没什么关系。|msg1msg2msgNMysql/binlog志/访问数据订单系统/数据财务系统/binlo