基于统一语义层构建的智能化数据分析平台.pdf

1、基于统一语义层构建的智能化数据分析平台演讲人：张仲良小米数据服务研发负责人2023 业务场景系统架构重要模块产品介绍业务场景众多的业务部门，复杂的业务需求 业务类型跨度大，含智能电子产品、IOT设备、互联网、智能工厂等；数据种类多，互联网数据量级大、研产供销服业务数据复杂、人力和财务数据权限管控和数据加密要求严格；集成内部大数据平台作为数据源，集成内部飞书IM，嵌入能力支持文档嵌入、业务系统嵌入；系统架构数据服务平台定位：数据中台核心看数和用数平台 数据服务平台，让用户不再关注数据表的细节，基于数据语义进行分析，降低业务使用成本；语义模型是数据服务平台核心组件，实现模型定义和语义查询的核心能力

2、；数据服务平台介绍：统一语义层、智能化、数据分析平台 微服务化架构，各层独立演进，以能力中心方式提供服务；支持业务方直接模型取数在平台制作查看报表将报表嵌入业务系统系统主动Push简报和预警消息 统一语义层，向统一数据服务演进；重要模块数据资产：支持集团内各种常用数据源类型 在线数据、OLAP数仓、大数据，统一资产管理 数据分析平台支持对各种内部常用数据源 目前仅支持JDBC访问，未来可考虑支持KV数据统一语义层（语义模型）：强大的语义建模能力和数据处理能力语义模型对表格模型就行抽象，形成多维模型；同时通过公式计算、数据加速、HBO等能力，提供了更为复杂的数据加工、存储优化和计算优化能力。统一

3、语义层：数据生产、数据查询打通，消除查询流量峰值 通过HBO预计算，降低峰值查询压力，降低用户等待时间；数据工场针对实时查询负载，提供优先保障；缓存命中率，是持续优化和提升的目标；统一语义层：行级权限，实现每个人看到不同的数据 基于表的行级权限：以SQL方式融入进模型SQL中；提供环境变量，例如“当前用户”、“当前部门”等，替换SQL中的查询条件；基于配置的行级权限：从权限系统获取权限配置，直接对结果集进行数据过滤；统一语义层：细节打磨，提升性能 持续适配多存储引擎细节；优化SQL结构，提升在特定存储引擎的执行性能；根据数据特征进行建模场景辅助；选择最适合场景的OLAP存储引擎；智能分析：大大

4、提高分析的效率和质量 业务中大量关键指标，需要分析是否异常以及根据维度拆分异常的原因。产品介绍图表：丰富的类型支持和定制开发、多样化的展示样式 页面布局：页签、网页嵌入 常用图表：折线图、饼图、柱状图、条形图、散点图、仪表盘等 强调显示：数字卡片、指标趋势卡 定制开发：直方图、雷达图、矩形树图、词云图，持续添加 数据查看：表格、透视表（数据来源于公开数据集SSB）简报、预警：实现数据找人，让数据触手可及 预警：复杂条件配置；定时监控；触发IM消息/发邮件/开JIRA 简报：Markdown富文本格式、嵌入指标和图表、嵌入图片嵌入式：让数据和业务融合在一个平台 利用米盾（内部访问代理层）实现跨域名CAS统一登陆和网站域名安全获取 嵌入图表与业务组件联动 适配业务系统显示风格 权限可配置由BI平台控制，也可由业务方控制（域名非真实域名）数据洞察：展示数据，同时展示数据波动的原因 根因分析：对数据点进行自动维度拆解，发现影响因素最大的维度成员组合 异常检测：根据历史数据，自动发现异常点，提醒注意 其他：智能预警（自动监测数据异常，发送IM消息主动提醒）；趋势预测（根据历史数据进行未来数据预测）感谢您的观看演讲人：张仲良小米数据服务研发负责人