1、 0 网易有数大数据平台 技术白皮书 作者：网易有数大数据开发及管理团队 联系我们：0571-89926329 了解和申请试用 1 目录 1.有数大数据平台.2 2.产品核心功能.3 2.1 有数大数据开发套件.4 2.2 调度系统.7 2.3 数据安全.11 2.4 平台运维与监控.12 2.5 数据可靠性.13 3.基于有数的大数据应用建设方案.14 4.技术规格.17 5.组件版本.20 2 1.网易有数大数据平台 有数大数据平台，网易大数据实践经验积累，一站式大数据应用开发和数据管理平台。有数大数据平台主要分为大数据开发套件和 Hadoop 发行版两部分。有数大数据总体架构图 大数据开

2、发套件主要包含数据开发、任务运维、自助分析、数据管理、实时流计算、项目管理等。大数据开发套件将数据开发、数据分析、数据 ETL 等数据科学工作通过工作流的方式有效地串联起来，提高了数据开发工程师和数据分析工程师的工作效率。Hadoop 发行版涵盖了网易大数据所有底层平台组件，包括自研组件、基于开源改造的组件。丰富而全面的组件提供完善的平台能力，使其能轻易地构建不同领域的解决方案，满足不同类型的业务需求。敏捷易用 3 基于业务场景设计的用户操作界面提高了系统的易用性，结束了平台命令行运维的繁琐状态。数据开发工程师和数据分析师通过简单拖拽和表单填写即可完成数据科学相关工作。成熟稳定 持续内部需求驱

3、动帮助打磨平台，网易互联网各业务验证。同时，网易杭研院成熟的 QA 体系为有数大数据平台保驾护航。安全可靠 有数平台提供多租户支持，不同租户之间相互隔离。底层使用 Kerberos 认证，实现了数据的安全性和隔离性。除了认证系统，利用 Ranger 实现了细粒度权限控制，保证了各个租户只能查看授权访问的库、表或字段。此外，平台提供审计功能，通过对用户平台行为的记录、分析和汇报，用来帮助事后生成合规报告、事故追根溯源，提高平台安全性。开放灵活 一直秉承开源改造回馈社区的概念，保持开源组件接口一致性；提供开放灵活的Web 接口，用户可以在此基础上进行定制化开发。2.产品核心功能 4 2.1 有数大

4、数据开发套件 有数大数据开发套件提供可视化界面，用户可以进行数据开发、任务运维、自助分析、数据管理、实时流计算、项目管理。大数据开发套件降低了大数据技术门槛，帮助企业快速落地大数据项目。网易有数开发套件 数据开发 数据开发模块提供数据库传输、SQL、Spark、MapReduce 及 Script、条件控制、嵌套流、数据质量等任务节点的敏捷开发界面，任务开发者通过拖拽创建任务，方便地进行数据集成、数据 ETL、数据质量校验、数据分析等数据科学工作。以数据库传输为例，用户只需将“数据库传输”组件拖拽到画布上并双击，通过下拉框选择和手动输入填写表单，快速完成数据传输的任务开发。此外，企业还能根据自

5、身业务场景按需进行任务调度管理，用户可以设置任务的执行顺序、优先级以及执行周期。针对任务失败的情况，设置重试次数、重试间隔及报警规则。最后，任务产生的结果可以对接主流 BI 系统进行数据可视化分析，或者直接回流到线上系统支撑辅助线上业务。5 任务运维 任务运维模块包含可视化的运维概览、实例运维、任务管理。运维概览：通过今日执行概览，执行趋势图，用户大体了解当天任务运行的情况以及历史任务运行实例的趋势，通过耗时排行和延迟排行快速定位可能存在有问题的任务实例。任务管理：用户可以查看当前产品线任务列表及各个任务的状态、创建人、修改时间、最近执行时间及调度信息。针对单个任务，用户可以查看详情（包括修改

6、历史、执行历史及执行计划）、编辑任务或补数据。补数据可以对任务执行发生在过去一段时间的调度。用户还可以通过任务血缘来查看线上调度任务之间的依赖关系。实例运维：主要分周期实例(线上调度和重跑生成对应的实例)和补数据实例，用户可以查看任务实例列表及各个实例的状态、运行方式、开始时间、结束时间、运行时长、计划执行时间及提交人信息。此外，用户可以按照不同的维度（开始时间、关键字、运行方式、状态及提交人）快速定位感兴趣的实例。针对单个实例，用户可以查看详情、日志或重跑。自助分析 自助分析提供交互式数据分析的 Query 和 Notebook。Query 可便于单个数据查询操作，Notebook 可切分成