4-阿里云Elasticsearch轻量化数据管道解决方案.pdf

1、Elasticsearch 技术交流_钉钉群 Elasticsearch 微信_公众号 全链路云上 Elastic Stack 直播系列 阿里云Elasticsearch轻量化 数据接入解决方案 阿里巴巴产品经理 沐泽 云上多Beats/Logstash集中管理 全链路云上 Elastic Stack 直播系列 全链路云上 Elastic Stack 阿里云 Elasticsearch 一站式云托管服务 Kibana Elasticsearch LogstashBeats 商业插件 X X- -packpack 容灾部署能力 智能运维 EyouEyou 向量检索服务日志增强内核达摩院分词 相较

2、于开源差异化9 9大功能 运维窗口 Q Query builderuery builder 插件 打标插件 Logstash Beats 全链路云上 Elastic Stack 直播系列 前数据链路的“挑战” 01 Elastic Stack 数据接入的成本究竟有多高？ 全链路云上 Elastic Stack 直播系列 数据接入的场景和挑战 日志接入和数据同步有哪些问题？ 如何降低日志接入门槛 网络访问配置是否全部一致 怎样实现配置标准化和集中管理 如何统一处理云上多数据来源和数据格式 是否有完善的监控报警和异常处理方案 ？ ？ ？ ？ ？ 场景 将业务数据从多种来源写入Elasticsear

3、ch进行查询检索 需求 云上MySQL、Maxcompute数据来源、收集/解析/聚合、实时查询分析 场景 收集业务日志文件用于故障分析及告警监控，及时定位业务系统异常 需求 大规模业务场景、1000+业务主机、每日TB级日志增量 全链路云上 Elastic Stack 直播系列 传统数据链路接入流程 搭建一个ELK集中日志分析平台有哪些步骤？ Logstash 推送格式化的日志数据到存储 ELK集中式日志平台搭建 1 2 3 4 大规模业务情况下，数百台服务器的Beats安装流程耗时耗力 在应用服务器上下载解压Beats安装包 配置Beats采集器并逐一验证启动 网络等各类配置一致性难以保证，Beats运行信息及异常情况无法统一监测 购买机器并安装部署Logstash 用户使用全托管的Elasticsearch服务时，不得不投入部分精力和成本进行Logstash部署运维 配置Logsta