2017年魅族大数据可视化平台建设之路.pdf

1、MEIZU大数据010203现状&问题当前目标实现方案Your life can be enhanced,and your happiness enriched,when you choose to change your perspective.01现状&问题0202渠道（形式）多样化格式多样脏数据量级巨大建模繁琐指标、维度一致性数据延迟血缘关系通知机制性能差实时性大规模计算数据挖掘指标、维度权限行级权限参数化鉴权数据交换脱敏日志审计数据接入数据查询现状&问题-数据层数据质量易用性数据更新数据安全0202类型扩展视觉定制条件样式联动自定义组件移动端适配大屏适配PPT式数据报告自定义主题多端分

2、享互动拖拽操作自由排版上卷下钻区域分组联动数据定义说明底层数据异常通知底层数据恢复通知业务波动通知定时邮件组件功能特性现状&问题-可视化层多终端通知预警Your life can be enhanced,and your happiness enriched,when you choose to change your perspective.02当前目标0202当前目标 -优先级0202当前目标Your life can be enhanced,and your happiness enriched,when you choose to change your perspective.010

3、20304基础功能可扩展性工具-平台上下游集成结论CONCLUSIONYour life can be enhanced,and your happiness enriched,when you choose to change your perspective.03实现方案0303实现方案-定位大数据可视化平台KylinMySQLCarbonData元数据平台数据交换平台大数据安全统计分析门户其他应用产品用户自助0303实现方案03030101PART ONE视觉定制交互细节定制可视化类型功能定制0202PART TWO 安全集成 分析引擎集成 数据化运营产品集成0303PART THREE

4、数据集模型复用数据接口复用可视化组件复用页面复用0404PART FOUR功能需求内容需求环境运维查询性能实现方案定制产品集成复用快速响应定制产品集成复用快速响应0202渠道（形式）多样化格式多样脏数据量级巨大建模繁琐指标、维度一致性数据延迟血缘关系通知机制性能差实时性大规模计算数据挖掘指标、维度权限行级权限参数化鉴权数据交换脱敏日志审计数据接入数据访问解决方案-数据层数据质量易用性数据更新数据安全0202解决方案0303实时计算实时计算PART ONESpark StreamingStormTindexOLAPOLAPPART TWO Kylin Vertica Tindex即系查询即系查询

5、PART THREEKylinVerticamysql分库分表CarbonData文本检索文本检索PART FOURElastic SearchTindex实现方案-分析引擎选择0202解决方案-分析引擎0202解决方案-分析引擎实时计算实时计算PART ONESpark StreamingStormTindexOLAPOLAPPART TWO Kylin Vertica Tindex即系查询即系查询PART THREEKylinVerticamysql分库分表CarbonData文本检索文本检索PART FOURElastic SearchTindex统一SQL访问层统一SQL访问层权限过滤

6、权限过滤日志审计日志审计请求路由请求路由性能优化性能优化成本高成本高周期长周期长兼容性兼容性迁移成本迁移成本必要性必要性标准化标准化VS0202解决方案-分析引擎0202解决方案-分析引擎实时计算实时计算PART ONESpark StreamingStormTindexOLAPOLAPPART TWO Kylin Vertica Tindex即系查询即系查询PART THREEKylinVerticamysql分库分表CarbonData文本检索文本检索PART FOURElastic SearchTindex统