《2. 腾讯 clickhouse实践 _2019丁晓坤&熊峰.pdf》由会员分享,可在线阅读,更多相关《2. 腾讯 clickhouse实践 _2019丁晓坤&熊峰.pdf(26页珍藏版)》请在三个皮匠报告上搜索。
1、ClickHouse 应用实践 丁晓坤 & 熊峰 一切以用户价值为依归 2 Clickhouse 的部署与监控管理 Clickhouse 的应用实践 iData 目录 部署与监控管理 一切以用户价值为依归 3 1 4 部署与监控管理 1 高内存,廉价存储: 单机配置: Memory128G CPU核数24 SATA20T,RAID5 万兆网卡 一切以用户价值为依归 5 部署与监控管理 1 生产环境部署方案: Distributed Table Replica1Replica1 Replica1Replica1 Replica1Replica1 Shard01Shard02Shard03 Loa
2、d Balancing 一切以用户价值为依归 6 部署与监控管理 1 线性平滑扩容: 扩容: 1.安装新部署新的shard分片机器 2.新shard上创建表结构 3.批量修改当前集群的配置文件增加新的分片 4.名字服务添加节点 一切以用户价值为依归 7 部署与监控管理 1 大批量,少批次 WriteModelBatchSizeRowLengt h QPMIOUtilsPartitionsFailedInserts SingleTable200001k6540680YES SingleTable1000001k2129215NO SingleTable10000001k1254460NO Wri
3、teModelBatchSizeRowLengt h QPMIOUtilsPartitionsFailedInserts MultiTable100000100B39051602YES MultiTable1000001k2129215NO MultiTable10000010k949413NO 一切以用户价值为依归 8 部署与监控管理 1 应用监控-业务指标: 一切以用户价值为依归 9 部署与监控管理 1 服务监控-错误日志: 一切以用户价值为依归 10 部署与监控管理 1 服务监控-请求指标: 一切以用户价值为依归 11 部署与监控管理 1 服务监控-扫描详情: 一切以用户价值为依归 12 部署与监控管理 1 服务监控-响应耗时: 一切以用户价值为依归 13 部署与监控管理 1 立体监控模型: 监控分层监控项敏感度紧急度 应用层业务指标,数据异常低高 服务层 错误日志 中中 请求指标