腾讯云新版ES：从云原生到AI增强搜索赋能企业商业变革.pdf

1、腾讯云新版ES从云原到AI增强，赋能企业商业新主讲：任翔腾讯云数据ES产品负责?腾讯云ES发展历程 户需求和习惯演化?存算分离技术揭秘 Serverless服务，像和电样使ES?开箱即的向量检索和AI增强能?未来展望录腾讯云ES发展历程01腾讯云ES的产品演进腾讯云ES正式发布集群全托管，开箱即20182019202120222023未来规模化运营500%增速，百PB规模ELK全托管，压缩编码，冷热分离云原Serverless产品形态升级，完全免运维企业数字化技术能、运营能、服务能户需求、习惯变迁、商业价值云计算发展Elastic战略合作X-Pack商业套件内核性能稳定性优化云原结合志场景深度

2、优化数据链路，治索引，存算分离极致体验与AI赋能内核优化、产品形态演进AI模型深度结合我们的研技术和社区贡献腾讯是亚太地区对ES开源社区贡献最多的第三企业，全球贡献第2进全球贡献Top100?技术PR?150+，合并120+腾讯云ES?依托内部丰富场景应以及万级节点复杂环境，针对ES内核进量稳定性、性能和成本等优化，并提交反馈给社区存算分离成本堆外内存集群治稳定性索引治节点数扩展性索引数定向路由性能查询裁剪索引压缩熔断限流分数列式返回数据裁剪数据均衡元数据读写分离成本下降50%80%?查询性能?210倍写性能?1?-3倍稳定性提升5倍扩展性提升10倍千级节点，百万分丰富的应场景和海量的数据规模

3、应场景主要业：业务规模：集群：1W+节点：10W+地域：国内外24个志分析信息检索数据分析数据库加速泛应于各各业电商、媒体、零售、游戏、汽车、出、教育户需求和习惯演化02从上好云到好云户需求和习惯演化上好云易用低廉好云提效安全稳定好用降本从IT基础建设中解脱，帮助企业降本增效更聚焦业务，关注商业价值提升商业价值经营效能云原演进：存算分离技术揭秘03成本，可以低于建吗？存储引擎、列、索引混存计算与存储耦合分布式架构云原冗余副本2?X?3基础设施SSD?成本、寿命磁盘、机器运维成本成本，可以低于建吗？冷热分离Rollup备份归档存储裁剪LRU?CacheOff?Heap内存池化命周期管理存储优化C

4、PU和内存优化已落地技术攻关更多机会洞察云原演进：存算分离技术揭秘问题：存储冗余：ES?2副本?+?云盘3副本?计算冗余：主从副本重复写弹性伸缩：量数据搬迁，耗时长，资源浪费案：主从副本共享存储：去除副本冗余存储Segment物理复制：去除副本冗余计算热数据本地智能缓存?+?IO并：保证查询性能计算层秒级伸缩：数据迁移，仅变更映射关系收益：去除存储/计算冗余，成本降低50%80%秒级弹性伸缩，持读写峰、按需付费更少更灵活的计算资源，承载更写流量，同时通过对象存储幅降低成本分布式计算层分布式存储层Master?1集群?管控Master?2Master?3Node?1CacheNode?2Cach

5、eNode?3Cache分分分主读写从只读集群管理Segment物理复制存算分离关键技术?物理复制Shared Storage（对象存储 COS）Translog-3Translog-2Translog-1Segment-cSegment-bSegment-aHybridStorageEngineLocalDirectoryShard-X-DirShard-Y-DirShard-Z-DirSegment Writing-BufferNRT SegmentsSegment-hSegment-iSegment-cSegment-bSegment-aFreezed SegmentsSegment-f

6、Segment-eSegment-dSegment-gsegments_2nRemoteDirectoryWrapperTranslog-3Translog-2Translog-1HybridStorageEngine LocalDirectoryReplica ShardNRT SegmentsSegment-hSegment-iSegment-cSegment-bSegment-aFreezed SegmentsSegment-fSegment-eSegment-dSegment-gsegments_2nRemoteDirectoryWrapperSegmentBased DataRepl