8-1 StarRocks 在 360 的应用.pdf

1、StarRocks在360的应用实践秦梦娜 资深研发工程师|01背景背景02多场景应用探索多场景应用探索03主要应用场景主要应用场景04总结展望总结展望目录目录CONTENT|背景01|DruidHiveSparkMysql支持 PB 级数据、大数据量能够秒级查询，支持读写分离；真正做到数据摄入实时、查询结果实时；完善的SQL支持，极低的学习成本，自定义数据格式，极高的扩展性可轻松扩展到几千个节点分布式的内存计算引擎,完全兼容Hive;功能强大且使用方便Doris/StarRocks/ClickHouse列式存储数据库，数据压缩、高可用，运维简单架构复杂，需要依赖Mysql、ZK、HDFS等组

2、件；严格的时间分区，无法根据业务类型进行自定义分区；多表join性能较差；Hive的使用依赖HDFS,查询转化为MR，大大降低查询性能；大数据量聚合计算或者联表查询，Hive的耗时动辄以小时计算；无论Spark Streaming还是Structured Streaming，仍然是将流数据当成小批量的数据进行处理,无法满足实时性很高的处理需求;内存计算对硬件的要求也比较高；查询性能相对较差；数据分库分表管理麻烦；查询引擎分析|测试数据使用SSB SF=100数据规模，生成5张表,通过13个SQL查询测试Apache Doris和StarRocks采用本地HTTP stream load方式导入

3、ClickHouse使用本地文件导入方式性能测试引擎部署环境部署环境测试版本StarRocksCPU 40核内存 128G硬盘 7.3T SATA网卡 10Gbps1个FE 3个BE1.18.0Apache Doris1个FE 3个BE0.14.12ClickHouse3个节点21.7.7引擎引擎导入耗时导入耗时CPU内存内存StarRocks642s三台机器:280%,270%,250%三台机器:8%,8%,8%Apache Doris1116s三台机器:370%,370%,410%三台机器:28%,21%,25%ClickHouse507s三台机器:300%,300%,300%三台机器:3

4、.5%,3.5%,3.7%|ClickHouse(ms)StarRocks(ms)Apache Doris(ms)Q1.184110300Q1.27583106Q1.37380193Q2.1896266946Q2.2415296776Q2.3313184673Q3.15955362483Q3.2508270790Q3.3397193650Q3.42773196Q4.17383631393Q4.2258166482Q4.3238157320ClickHouse(ms）StarRocks(ms)Apache Doris(ms)Q1.168610501163Q1.2378550743Q1.33375

5、50736Q2.114950259066660Q2.29737171065563Q2.38559151061326Q3.122894439071690Q3.210246211058863Q3.37845170055506Q3.46143930873Q4.130484430079810Q4.27206384019050Q4.36999235017156总体对比来看，StarRocks不管在单表查询还是多表查询上性能都很优秀性能测试050010001500200025003000Q1.1 Q1.2 Q1.3 Q2.1 Q2.2 Q2.3 Q3.1 Q3.2 Q3.3 Q3.4 Q4.1 Q4.2

6、Q4.3单表测试ClickHouseStarRocksApache Doris0100002000030000400005000060000700008000090000Q1.1 Q1.2 Q1.3 Q2.1 Q2.2 Q2.3 Q3.1 Q3.2 Q3.3 Q3.4 Q4.1 Q4.2 Q4.3多表测试ClickHouseStarRocksApache Doris|u 三者有很多的相似之处；u StarRocks和Apache Doris运维简单，操作方便，且支持极速数据湖分析;u ClickHouse运维相对困难，配置复杂，创建分布式表复杂;u StarRocks相较于ClickHouse