2019年贝壳数据可视化分析平台实践.pdf

《2019年贝壳数据可视化分析平台实践.pdf》由会员分享，可在线阅读，更多相关《2019年贝壳数据可视化分析平台实践.pdf（17页珍藏版）》请在三个皮匠报告上搜索。

1、贝壳数据可视化分析平台实践贝壳数据可视化分析平台实践02贝壳可视化分析平台历程贝壳可视化分析平台建设历程梅林图灵指标平台（基于Kylin）Adhoc（基于Spark）优点优点查询效率计算径管理缺点缺点学习和使成本重量级，不利于探索性数据分析优点优点持探索性数据分析各种API缺点缺点查询效率低径法管理大数据城市站及各个业务方业务库业务库业务库业务库.COO线BICHO线仪表盘.问题问题效率低不利于平台化奥丁可视化分析平台的创建计算资源大数据资源奥丁存储资源指标HiveMysqlExcel/Csv多数据源支持PC报告App报告可视化分析项目脚本化门户模型扩展性支持数据多种可视化组件性能优化缓存预热

2、.总结奥丁的作用：总结奥丁的作用：覆盖了大数据分析的所有功能，实现一站式分析替代以前一个个分析产品，实现降本增效03奥丁的设计与优化奥丁的设计与优化奥丁的设计与优化l 性能：提升大数据量查询的性能；l 稳定性：大数据查询消耗资源较多，如何保证并发情况下的资源合理竞争；l 可扩展性：如何满足各业务线的个性化数据需求；大数据分析系统面临的挑战大数据分析系统面临的挑战整体性能优化整体性能优化大数据查询特点：大数据查询特点：实时查询，上亿数据量、多维度查询。多个大表之间关联查询性能优化目标：性能优化目标：10秒内的查询效率优化方案和效果：优化方案和效果：优化对象优化对象优化方案优化方案优化效果（优化效

3、果（10秒内查询效率）秒内查询效率）查询引擎Presto参数调整Alluxio缓存qps：22-33，10s内响应：80%-93%应用层预热前一天慢日志回放：97%前一周慢日志回放+分阶段回放：99%路由层独立集群效果明显，在小范围使用维度筛选性能优化维度筛选性能优化大数据维度筛选难点：大数据维度筛选难点：对任意表的任意字段支持模糊搜索每列数据量大，并且每天会变化方案参考：方案参考：地动仪：直接使用like查询指标平台：为每个公共维度字段建立维度表元数据平台：将要筛选的列导入到ES中优化方案：优化方案：select distinct 1000条，前端模糊搜索加上精确搜索稳定性优化稳定性优化影响

4、稳定性的原因：影响稳定性的原因：资源有限优化方案和效果：优化方案和效果：优化对象优化对象优化方案优化方案优化效果优化效果查询范围自动pt（分区）处理解决大多数情况模型和用户sqlExplain检查拦截评估不通过的sql大数据量下载资源隔离和自动限流避免了少量大数据量下载拖垮系统方案总结：方案总结：通过自动分配、资源检查，避免不合理的资源使用情况发生不增加用户成本，尽量采用自动化处理优化优化思思路：路：控制每个请求消耗的资源可扩展性优化可扩展性优化可扩展需求：可扩展需求：数据分析需求：对可视化后的数据进一步解读业务动作：例如，汇总、预警、颜色高亮等优化方案：优化方案：提供编程接口，以扩展服务端能

5、力出于性能、安全考虑，提供沙箱环境（可配置）：出于性能、安全考虑，提供沙箱环境（可配置）：一次请求中，调用rpc请求远程资源的方法，不能超过10次对于db操作，只允许select，不允许insert等db的select操作，必须包含limit*限制返回的记录条数等等业务扩展用户脚本系统扩展沙箱服务端客户端成果总结成果总结性能：总体10s内响应99%；稳定性：99.9%，线上没有发生过系统被某个查询耗尽资源的情况；扩展性：支持业务方自定义扩展；技术总结技术总结一、用一、用简单有效简单有效方案解决方案解决99%的问题的问题+定制化定制化的方案解决剩下的方案解决剩下1%的问题的问题Hive查询的自动

6、pt处理+特殊处理模型的Explain检查+物化性能：Presto查询+独立资源查询性能：维度筛选器的前端模糊搜索+精确搜索效果：成本低；快速实践，迭代中改进技术总结技术总结产品产品奥丁项目或门户梅林图灵COO线BICHO线仪表盘.分析平台分析平台多数据源接入模型可视化分析查看权限数据权限（行/列）计算资源存储资源指标分析工具安全控制资源管理报告中间件中间件查询引擎（缓存/熔断）存储查询存储查询HiveKylinPrestoImpalaHbaseMysqlClickHouse