1 更快、更高、更强 StarRocks 存算分离最新进展.pdf

1、更快、更高、更强丁凯StarRocks TSC member，镜舟科技云原生团队负责人存算分离最新进展0102030405StarRocks 存算分离存算分离-用户存算分离-性能存算分离-成本存算分离-生态01StarRocks 存算分离CacheAppKV-AppStarRocksShardManagerServiceManagerWorkerManagerFileStoreManagerLogStoreManagerStarletStarletStarletStarletStarletStarletWorker GroupsStarletStarletStarletStarletStarl

2、etStarletWorker GroupsServiceAWS /GCP /WAZ Private CloudAPIProvisionApplicationStarOSResourceStarRocks on StarOS快速迭代3.13.23.3StarRocksStarRocksStarRocksPK 支持自增列支持热数据TTLPK索引持久化Storage VolumeStarCacheBatch PublishFast Schema Evolution并行 ScanCloud PK Index02用户腾讯音乐存算分离迁移时间线选定StarRocks存算分离作为湖仓一体底座Druid集群

3、数据迁移方案验证成功正式切换查询服务，服务器成本下降40%完成ClickHouse、Druid替换实时集群数据接入验证完成日接入数据千亿条实时集群回放线上查询流量，查询性能稳定Druid迁移70%、原有集群释放50%开启湖仓一体建设基于Multi-warehouse构建资源隔离，将StarRocks建设成为平台标准组件SepOctNovDecJanMarAprMayJunJulAugFeb京东物流存算分离集群StarRocks K8s OperatorFE StatefulSetCN StatefulSetFE Pod1FE Pod 2FE Pod 3CN Pod 1CN Pod 2CN Po

4、d 3HPACN Pod 4FE ServiceCN Service 依托京东云JDOS K8s部署，双可用区容灾，Proxy灵活切量 配备万兆网卡及SSD的物理机，保证网络和缓存I/O性能 预调优的FE/CN Specs，开箱即可用SR ProxyClient03性能Fast Schema EvolutionFast Schema Evolution 技术，加减列等常见schema 变更时无需重写数据，实现了秒级 DDL(3.3+)Tablet 并行 Scan并行 Scan 技术，通过将大块数据切分并行加载等技术显著降低查询延迟，在 cache miss 场景，效果更加显著(3.3+)Bat

5、ch PublishBatch Publish 技术，可将众多并发事务合并 Publish,显著提升高频高并发导入吞吐，存算分离架构下实现 10s 数据新鲜度 (3.2+)Merge Commit:1s 实时导入KafkaKafka Source 0Kafka Source 1Kafka Source 298Kafka Source 299Transform 0(decompress/deserialization)Transform 1(decompress/deserialization)Transform 298(decompress/deserialization)Transform

6、299(decompress/deserialization)StarRocks Sink 0StarRocks Sink 1StarRocks Sink 298StarRocks Sink 299ForwardForwardPartition 0Partition 1Partition 299Partition 298ForwardForwardForwardForwardForwardForwardTable 0Table 99Stream LoadStarRocksFlink Pipeline并发高:Tran