2018年第六批大数据产品能力评测介绍.pdf

1、第六批大数据产品能力评测介绍姜春宇中国信息通信研究院云大所大数据技术主管大数据发展促进委员会办公室主任大数据产品能力评测发展历程截止第六批评测，已经有41家企业的55产品通过评测，完成88个测试。第一批评测华为、移动、星环、中兴、Ucloud的5个产品通过了大数据基准测试第二、三批评测8个产品通过了Hadoop基础能力评测，5个产品通过了性能专项评测第四批评测14个产品通过了基础能力评测第五批评测10个产品通过了基础能力评测，10个产品通过了性能专项评测，总共完成20次测试第六批评测29款产品通过了第六批大数据产品能力测评，总共完成36次测试2015 6-82016 5-8月2017 3月20

2、17 6-10月2018 3月大数据产品能力评测体系大数据产品能力评测基础能力指标导向 Hadoop平台 MPP数据库 数据集成工具 数据管理平台 数据挖掘平台 商业智能（BI）分析平台性能场景导向 Hadoop平台 MPP数据库类别名称目前版本基础平台产品大数据产品 Hadoop平台 第1部分：技术要求1.0大数据产品 Hadoop平台 第2部分：基础能力测试方法2.0大数据产品 Hadoop平台 第3部分：性能测试方法2.0大数据产品 MPP数据库 第1部分：技术要求1.0大数据产品 MPP数据库 第2部分：基础能力测试方法1.5大数据产品 MPP数据库 第3部分：性能测试方法1.0数据管

3、理产品大数据产品 数据集成工具 第1部分：技术要求1.0大数据产品 数据集成工具 第2部分：基础能力测试方法1.0大数据产品 数据管理平台 第1部分：技术要求1.0大数据产品 数据管理平台 第2部分：基础能力测试方法1.0分析工具大数据产品 商务智能（BI）分析工具 第1部分：技术要求1.0大数据产品 商务智能（BI）分析工具 第2部分：基础能力测试方法1.0大数据产品 数据挖掘平台 第1部分：技术要求1.0大数据产品 数据挖掘平台 第2部分：基础能力测试方法1.0应用和解决方案大数据解决方案 用户行为数据分析 第1部分：技术框架和指标体系 1.0从2014年6月到现在，数据中心联盟大数据产品

4、能力评测形成了基础能力和性能专项两类评测，基础能力覆盖6大类产品，性能覆盖2类产品，形成评测标准15项。第六批大数据产品能力评测数据测试数量6大类测试,36个测试项目36最大基础能力集群华为评测了大规模Hadoop平台基础能力评测，1000物理机节点集群规模达到5001个5001节点性能测试规模华为通过了300节点物理机性能评测新华三通过了200节点物理机性能评测300节点在2017年11月到2018年3月底，21家企业的29款产品通过了第六批大数据产品能力测评，共完成36个测试项目。性能最大数据规模大规模性能测试的测试规模为100TB100TB第六批大数据产品能力评测项目分布大数据产品基础能

5、力评测大数据产品性能评测Hadoop平台MPP数据库数据挖掘工具数据集成工具数据管理平台商务智能分析工具Hadoop平台 MPP数据库博宇通达星环星环科技 电信云公司中兴永洪博宇通达星环科技国网亿利 巨杉数据库 中兴通讯中兴中软国际腾讯云国网亿利石化盈科南大通用南大通用新华三东方金信石化盈科华为(5001节点)电信云公司星环Datablau华为(300节点)联通大数据新华三(200节点)烽火科技联通大数据联想铁科院星环电信云公司航天信息星环科技Hadoop基础能力测试方法可用性运维管理兼容性功能安全多租户易用性扩展性Namenode主节点失效恢复自动化部署ODBC兼容性数据导入认证租户管理工作

6、流创建集群动态扩展Datenode节点失效恢复资源监控JDBC兼容性SQL任务能力授权资源管理工作流管理集群动态收缩HMaster节点失效恢复作业监控SQL支持度NoSQL数据库加密资源隔离工作流监控RegionServer节点失效恢复集群操作 传统数据库同步机器学习审计资源监控ResouceManager节点失效恢复故障管理跨不同数据库表关联操作流处理能力Hive Server失效恢复日志管理异构硬件兼容性HDFS备份恢复配置管理操作系统兼容性HBase备份恢复权限管理双集群互备无宕机升级运维管理节点失效及恢复Hadoop平台基础能力包括八大项：功能、运维、多租户、可用性、安全、兼容性、易用