2018年大数据和人工智能在Power服务器上的实践分享.pdf

1、Power服务器上大数据方案介绍大数据案例分享Power服务器：AI的强力支撑平台内容开放的Hadoop组件架构蓝色部分是基础的框架，黄色部分是一些SQL化的组件，没办法单独执行，依赖于蓝色及灰色部分。Apache hadoop社区贡献第一名：HortonworksHortonworks成立时间2011年员工1110+Apache社区Committer208全球合作伙伴2100+全球客户数量1000+产品许可无商业许可产品开源程度完全开源Apache V2.0协议Hortonworks Data Platform(HDP)可用于创建安全的企业数据湖，提供您实现快速创新、运用实时商业洞察力所需的

2、分析信息，完全开源。可以涵盖数据的采集、数据的预处理、海量数据存储、数据分析及发掘、数据的呈现与应用等各个部分。ODPi成员对大数据生态的贡献 ODPi是一个非营利组织致力于简化和标准化大数据生态系统使用通用的参考规范和测试套件。HDP 特点100%开源HDP 2.6.5包含的组件HDP 3.0包含的组件HDP一键化安装能提供Hadoop套件的两个主要软件厂商:Cloudera,Hortonworks信息抽取切词文本分类属性提取网页爬取统一数据采集SQL消息API文件服务总线统一数据中心大数据平台应用数据治理平台运维目标库MPP数据库MPP（双活）Agent CollectorStorageM

3、asterFlumeZookeeper文件/消息（含信令）FTP文件Socket消息sqoop基于多租户的开放框架TomcatMySQLPuppetGangliaNagiosAmbariBootstrapSpringHibernateJQueryRDBMS统一大数据存储HDFSzookeeper资源调度与管理 YARNSPARKScalaMLlibHBASEM/RHiveRSparkSQLIBMStreamsRedisSparkStreamingKAFKADockerSlider某客户大数据平台技术架构某客户Hadoop平台S812LCS812LCCodisCodisHbaseHbaseNod

4、emanager&DatanodeNodemanager&DatanodeNamenodeNamenodeZookeeperZookeeperHive-Hive-serverserverMapreduceMapreduce采用HotonWorks大数据平台方案集群调度节点：Zookeeper。Hive 元数据节点：Hive 是用类SQL 语句来驱动MapReduce做查询的一个模块。Hbase：Hadoop数据库，是一个列式数据库，可以方便的保存非结构化数据，比如json类型数据。计算及存储节点：保存数据，并实际执行MapReduce的节点。Codis：分布式Redis，上层应用可以象使用单机

5、Redis一样来用Codis。某客户HDP集群支撑业务：-流量分析-上网日志分析-ICA-企业级多租户业务共224台S812LC主要部件：-Codis-Mapreduce-Hive-Hbase某客户流式计算架构图采集服务器集群（脚本/java程序）Hbase集群详单存储Hadoop集群15 分钟汇总数据小时汇总数据天汇总数据Kafka 集群Storm 集群结果保存Redis/Kafka 数据共享流处理平台：流处理平台：流处理平台主要有 Storm、Jstorm、Spark 流处理平台主要有 Storm、Jstorm、Spark Streaming 等。Streaming 等。流式处理常用场景流

6、式处理常用场景：事件流：Storm 处理源源不断流进来的消息，处理之后将结果写入到某个存储中去。电信运营商实时信令分析上网行为分析实时营销持续计算：连续发送数据到客户端，使它们能够实时更新并显示结果，如网站指标。互联网的实时数据监控微博热门话题的实时推送实时网络攻击监测流处理平台流处理平台POWER平台上打包的开源框架集合POWERAIBase安装安装易易版本版本新新企业企业级级优化优化库库包含内容包含内容CaffeLarge Model Support(LMS)Distributed Deep Learning(DDL)开发经验客户PowerAI BasePowerAI BaseFree P