ClickHouse 在头条的技术演进.pdf

1、ClickHouse 在头条内部技术演化 陈星 自我介绍 自我介绍 - 10 year in database kernel(OLAP, warehouse) RD - Worked on DB2 LUW, DB2 BLU(dashDB), BigSQL(SQL on Hadoop) - 1+ years in Bytedance, and incubate ClickHouse development and deployment there 目录 1. ClickHouse 简介 2. Bytedance 如何使用ClickHouse 3. 问题与解决方案 4. Q&A 1. Develo

2、ped by Yandex, and open source since 2016 2. 查询性能优越的分析型引擎 3. 主要特点（not new) - Column oriented + vector execution - Local attached storage (not Hadoop ecosystem) - Linear scalable & Reliable(shard + replication) - SQL interface - Fast ClickHouse 简介 1. Data Skipping - 分区以及分区剪枝 - 数据局部有序（LSM-like engine,

3、 zone map) 2. 资源的垂直整合 - 并发 MPP+ SMP（plan level) - Tuned执行层实现 （multi-variant agg implementation, SIMD) 3. C+ Template Code ClickHouse 简介 - 性能优越的因素 1. 适用场景 - 单表分析 或 colocate join case - distributed join 性能并不出色 2. 不足 - no transaction - batch data ingest - weak update/delete support - weak optimizer & query rewrite ClickHouse 简介 - 适用场景与不足 1. 选择ClickHouse的原因 产品需求 - 交互式分析能力 (in seconds) - 查询模式多变 - 以大宽表为