林兆祥-降本九成提效十倍：统一资源池理念重塑CLS规模红利.pdf

《林兆祥-降本九成提效十倍：统一资源池理念重塑CLS规模红利.pdf》由会员分享，可在线阅读，更多相关《林兆祥-降本九成提效十倍：统一资源池理念重塑CLS规模红利.pdf（26页珍藏版）》请在三个皮匠报告上搜索。

1、zlinzlin(林兆祥）腾讯云CLS日志引擎研发负责人 T13工程师2024-06-14降本九成降本九成，提效十倍提效十倍 统一资源池重塑统一资源池重塑CLS规模红利规模红利1.百PB规模日志业务挑战及应对成本、检索、分析：三大核心能力10倍级提升2.统一资源池重塑云服务规模红利降本九成：IO资源池优化成本近90%提效十倍：算力资源池提升分析能力数十倍技术路线讨论：统一资源池 VS 超大规模集群 VS 弹性扩缩容3.方法论：数据驱动理论模型优化法探索优化理论边界，CLS连续实现10倍级优化的底层逻辑目录1.百百PB规模日志业务挑战及应对规模日志业务挑战及应对成本成本、检索检索、分析分析：三大

2、核心能力三大核心能力10倍级提升倍级提升2.统一资源池重塑云服务规模红利降本九成：IO资源池优化成本近90%提效十倍：算力资源池提升分析能力数十倍技术路线讨论：统一资源池 VS 超大规模集群 VS 弹性扩缩容3.方法论：数据驱动理论模型优化法探索优化理论边界，CLS连续实现10倍级优化的底层逻辑目录5CLS项目概况项目概况 成本敏感的海量日志检索、分析平台 CLS(Cloud Log Service)是腾讯云提供的一站式日志服务平台一站式日志服务平台，支持数据采集、检索分析、数据清洗、可视化告警的一体化服务 CLS日志引擎核心能力：海量日志检索&分析能力；日志数据量大，客户对日志成本比较敏感

3、业务规模快速增长：售卖规模年增长超100%，总规模超过百PBCLS日志服务定位日志服务定位产品架构图产品架构图：支持支持60+种日志种日志&指标数据源指标数据源，数据数据采集采集、检索分析检索分析、数据清洗数据清洗、可视化告警可视化告警的一体化可观测的一体化可观测SaaS服务服务67挑战挑战&应对应对 检索能力 入选顶会VLDB2022，比主流搜索引擎提高数十倍数十倍CLS时序搜索引擎性能提升数十倍：1.日志搜索以文本搜索为主，过去20多年，业界以传统文本搜索引擎支撑日志检索业务2.日志具有强时间属性，传统搜索引擎在百亿条规模日志检索中，仅时间索引就需要加载30GB3.CLS提出时序搜索引擎时

4、序搜索引擎理念，平均性能相对主流搜索引擎ES提升38倍，成果入选数据库顶会VLDBES（基于Lucene)为业界主流搜索引擎（数据库排名第7，搜索引擎子类第一）技术/专利点优化指标优化前性能优化后性能时间戳有序化CPUO(n)O(logn)索引IO优化IOO(logn)O(1)逆序二分检索CPUO(n)O(logn)直方图优化回表次数O(n)O(1)时序搜索引擎核心技术点时序搜索引擎核心技术点（VLDB论文论文）行业影响力：部分行业影响力：部分VLDBVLDB评委评价评委评价 大规模日志实时分析对工业界来说是一个重要的问大规模日志实时分析对工业界来说是一个重要的问题题，很多读者都会对腾讯的解决

5、方案感兴趣。相对Lucene来说，这篇论文的方案带来了超过一个超过一个数量级数量级的查询性能提升的查询性能提升。作者们大幅提升了这种应用场景下常用查询的效率，因此也能带动相关云服务质量的有效提升带动相关云服务质量的有效提升。挑战挑战&应对应对 分析能力 深挖云服务优势，比主流分析引擎提高数十倍数十倍日志业务分析场景日志业务分析场景海量日志用户行为分析，比如UV，PV等基于日志分析的监控告警能力客户将CLS当作大数据分析引擎使用复杂分析能力优化核心里程碑复杂分析能力优化核心里程碑*超越搜索引擎阶段超越搜索引擎阶段：引入双引擎技术架构，相对主流搜索引擎提升10倍级复杂数据分析能力（2000万/分钟

6、到2亿/分钟）。接近分析引擎阶段接近分析引擎阶段：不断优化两个引擎之间的交互效率，累计将分析能力提升数十倍（50亿/分钟），分析能力逼近主流大数据分析引擎。超越分析引擎阶段超越分析引擎阶段：引入统一计算架构，充分挖掘云服务规模优势，再次将分析能力提升数十倍（500亿+/分钟），实现了分析能力上面对主流大数据分析引擎的超越。最差场景数据分析能力走势图最差场景数据分析能力走势图*备注：此处提的分析能力指最差场景的分析能力；通常情况下，较优场景的分析能力是最差场景的10倍以上，最优场景可达百倍千倍。从研发角度，提升最差场景的分析能力对产品更有实质意义*备注：此处的行，定义为3个字段，平均每行数据大小