10-周新宇-AutoMQ：助力可观测数据源降本增效.pdf

《10-周新宇-AutoMQ：助力可观测数据源降本增效.pdf》由会员分享，可在线阅读，更多相关《10-周新宇-AutoMQ：助力可观测数据源降本增效.pdf（19页珍藏版）》请在三个皮匠报告上搜索。

1、AutoMQ：助力可观测数据源降本增效周新宇，AutoMQ 联合创始人&CTO大纲 Apache Kafka 在云原生时代面临的挑战 AutoMQ 云原生共享存储架构如何带来 10 x 的成本优势 AutoMQ 在可观测领域的应用场景 未来展望Kafka 在数字化系统中的生态位Apache KafkaWebAppsMicroservicesMonitoringAnalyticsDatalakesDatabasesCachesIoTCRMs Kafka!#$%&()*+,-./01 23245-67-89:;?Kafka 3AB Kafka!%CDEFG+HIJ云原生时代 Kafka 面临的挑战

2、!#$%Kafka!#$%&()*+,-)./01 AZ 234$5678&()*+,9:;.=9:;?ABCDEF(GH8-./0 IOPS 12345!5IJ+,K6 IOPS L23MN67849:;?ABOPQRS&()*(23TU(VWXYZOBC(_ab8为什么 Kafka 这样设计Kafka!#13$%&2011YR()*+,-./!#$%&()*#+,-.10!#$%&()*+,-./0123/#012&310!4(56789:*;?AB012/345678/97845#$678&CD API EFGH4(IJ*67EKLM/#9:;CD API NOPQ67*RK+S*TUV

3、WXYZ23AutoMQ 云原生技术路线EC2+EBS+S3!#$%&(#)*!+,-.&(/0-.#123456789:;?A)*&BCDE%FG=HIJFGKLMNOPQRSTOAutoMQ 云原生技术大图!#$%&!#$%&API()*+$,-%./01$23456789:%;8?40%60%&()*+,-./Spot 01ABCDEF%/GHIJK%LMN?OPQR./S#Spot TU%VWN?R 70%23456Decoupling Durability./S#$XYZ#Z%9_ab%XYN?R 90%EBSEBSEBSEBSWALObject StorageEBSMain Sto

4、rage控制面Spot Node GroupOn-Demand Node GroupAuto ScalingAuto BalancingMetrics Collector无状态计算层共享存储层BrokerComputingLayerS3StreamBrokerComputingLayerS3StreamBrokerComputingLayerS3StreamBrokerComputingLayerS3StreamBrokerComputingLayerS3Stream基于 S3 的流存储库S3StreamEBS WAL!#$%&(#$)*+#$%,-./012$345)67/8679:;2G?

5、)3000 IOPSS3!#$StreamSet ObjectABCDEFG Stream HIStream Object/JKLD Stream GHI%&()Tailing ReadMNO Cache PQRCatch-up ReadO S3 SQR)TQUV基于 EBS 的高可用共享 WAL 存储WAL!#$!#$%&()*+,-./Azure0GCP012%3%&()4*+,./WAL%&(56789Multi-Attach:;789Force-Attach:)*+,-NVMe ReservationsPower Fencing多模共享存储=共享 WAL+对象存储AutoMQ 10 倍

6、成本优势提升10!#$%!#$%&#$AutoMQ for KafkaApache Kafka*消息保留 30 天，100 MB/s 带宽场景，详情参考链接&!()*+,()*+,-./100%-.(/0012345KIP 233!1.5#43!1$%&132()*1000+(6$78v0.9.0 v3.4257.38$/+2095.71$/+3054.26$/+201.46$/+技术架构优势对比功能点AutoMQApache Kafka100%协议兼容 原生支持，复用协议代码 原生支持秒级分区迁移 共享存储，迁移