1、分析型数据库标准发展与产业观察 分析型数据库标准发展与产业观察 马鹏玮 中国信息通信研究院大数据与区块链部业务主管 标准化的意义1一种公认的刻度 标准化的意义2一个合适的门槛 p 分布式分析型数据库国内相关产品已经达到30余款 p 数据库公司、IT服务公司、云公司、大数据公司均推出相关产品 p 研发模式囊括基于开源二次开发、商业收购、自研等形式的产品 p 各产品性能的新闻稿都是“客观存在的某种第一”产业点滴产业点滴?门槛有没有门槛有没有?放在哪放在哪?怎么摆怎么摆?划多高划多高??15 标准参与单位标准参与单位:中国信息通信研究院 华为技术有限公司 北京百度网讯科技有限公司 腾讯云计算有限公司
2、 阿里云计算有限公司 电信云计算有限公司 联合网络通讯有限公司 中移(苏州)软件技术有限公司 天津南大通用数据技术有限公司 星环信息科技(上海)有限公司 中兴通讯股份有限公司 标准编制工作标准编制工作11基础能力标准 基础能力标准 分布式分析型数据库基分布式分析型数据库基础能力评测标准础能力评测标准,已正已正式成为式成为行业标准 行业标准 YD/T 1213-2016 YD/T 1213-2016 大数据大数据 分布式分析型数据库技术要求与测试方分布式分析型数据库技术要求与测试方法法 TPC-DS SQLTPC-DS SQL 混合负载 混合负载 压力测试 压力测试 稳定性测试 稳定性测试 I/
3、OI/O密集型任务 密集型任务 加载 加载 2 2小时持续时间 小时持续时间 1212小时持续时间 小时持续时间 CPUCPU密集型 密集型 插入 插入 复杂查询负载 复杂查询负载 复杂查询负载 复杂查询负载 报表任务 报表任务 精确查询 精确查询 CPUCPU达到达到80%80%CPUCPU达到达到60%60%分析型任务 分析型任务 复杂查询 复杂查询 交互式查询 交互式查询 p 分布式分析型数据库性能专项认证包括分布式分析型数据库性能专项认证包括SQLSQL任务任务、混合混合负载负载、压力测试和稳定性测试四类任务压力测试和稳定性测试四类任务。p 混合负载以及混合负载以及SQLSQL测试覆盖
4、测试覆盖30TB30TB数据规模数据规模 p 混合负载测试覆盖四种类型负载同时发生混合负载测试覆盖四种类型负载同时发生 组件?配置?台数?CPU?2*英特尔至强E5-2620 v3 2.4GHz,15M缓存?32?内存?8*16GB RDIMM,2133 MT/s?32?硬盘?10*1.2TB 10K RPMSAS6Gbps 2.5英寸?热插拔硬盘?22?10*1.2TB 10K RPMSAS12Gbps 2.5英寸?热插拔硬盘?10?网卡?单口万兆网卡?32?交换机?锐捷RG-S6220-48XS4QXS?万兆交换机?1?测试环境测试环境:3232服务器节点 服务器节点 =22=22*戴尔戴
5、尔 +10+10*联想联想 内外两套网 内外两套网 =千兆外网千兆外网 +万兆内网万兆内网 全时服务 全时服务 =7=7*2424小时不停机小时不停机 标准编制工作标准编制工作22性能衡量标准 性能衡量标准 公司名称?产品名称?测试类型?天津神舟通用数据技术有限公司天津神舟通用数据技术有限公司?神通数据库管理系统神通数据库管理系统?基础能力基础能力?天津南大通用数据技术股份有限公司天津南大通用数据技术股份有限公司?GBaseGBase 8a8a MPPMPP Cluster?Cluster?基础能力基础能力/性能性能?中移(苏州中移(苏州)软件技术有限公司软件技术有限公司?中移软件分布式混合型
6、并行关系型数据库系统软件中移软件分布式混合型并行关系型数据库系统软件?基础能力基础能力/性能性能?贵州易鲸捷信息技术有限公司贵州易鲸捷信息技术有限公司?易鲸捷数据库管理系统易鲸捷数据库管理系统 简称简称:EsgynDBEsgynDB?基础能力基础能力?北京酷克数据科技有限公司北京酷克数据科技有限公司?HashDataHashData数据仓库数据仓库?基础能力基础能力?百度网讯科技有限公司百度网讯科技有限公司?百度数据仓库百度数据仓库Doris Doris V3V3.4?4?基础能力基础能力?杭州数梦工场科技有限公司杭州数梦工场科技有限公司?数梦工场大规模分析型数据库数梦工场大规模分析型数据库D