《袋鼠云:2023数栈产品白皮书Version 6.0(56页).pdf》由会员分享,可在线阅读,更多相关《袋鼠云:2023数栈产品白皮书Version 6.0(56页).pdf(56页珍藏版)》请在三个皮匠报告上搜索。
1、一站 式 大 数据 基础 软 件产品白皮书Version 6.0-2023 数栈数栈数栈数栈数栈杭 州 玳 数 科 技 有 限 公 司版权声明版权声明版权声明版权声明版权声明COPYRIGHT NOTICECOPYRIGHT NOTICECOPYRIGHT NOTICECOPYRIGHT NOTICECOPYRIGHT NOTICE本报告版权属于杭州玳数科技有限公司(简称袋鼠云),并受法律保护。转载、摘编或利用其他方式使用本报告文字或者观点的,应注明“来源:杭州玳数科技有限公司(简称袋鼠云)”。违反上述声明者,本司将追究其相关法律责任。数栈V6.0产品白皮书一站式大数据基础软件扫码进群获取更多
2、大数据干货前言前言前言前言前言COPYRIGHT NOTICECOPYRIGHT NOTICECOPYRIGHT NOTICECOPYRIGHT NOTICECOPYRIGHT NOTICE数字化是当今最先进和最具穿透力的生产力,近十年保持高速发展,围绕“数字化”构筑的数字经济已经成为推动经济发展的新引擎之一,它不仅改变了传统产业的运营方式,也创造了全新的产业生态,成为当前经济发展的重要方向。袋鼠云作为领先的数字化基础软件与应用服务商,一直以来致力于为企业提供稳定、高效、卓越的产品与服务。其旗下大数据基础软件数栈,业务覆盖大数据基础平台、大数据开发与治理、数据智能分析与洞察三大领域,拥有包括大
3、数据计算引擎、湖仓一体、离线开发、实时开发、数据资产、数据服务、指标管理、客户数据洞察、智能数据分析在内的九大产品。数栈始终坚持自主可控,积极致力于帮助客户打造国产创新的企业级大数据基础软件,帮助客户夯实数据基座,建立从数据获取生产到数据消费利用的全生命周期管理体系,使数据“可见、可用、可管”,洞察数字化机遇,明确转型方向,创造数据新价值。本次白皮书将从数字技术、产品能力、应用实践、服务支持四个方面进行深度研判,剖析数栈V6.0的产品升级,针对性克服数字化转型短板,从数据治理、湖仓一体、数据集成、DataOps等八个方面进行解决方案解读,重点提升客户数据管控能力。此外,本白皮书还基于大量客户的
4、落地实践,总结出了有效的大数据基础软件建设经验。希望本白皮书的分析可以为各行业企业的数字化转型提供参考和指导。数栈V6.0产品白皮书一站式大数据基础软件目录目录目录目录目录CONTENTCONTENTCONTENTCONTENTCONTENT0101010101数栈概述数栈概述数栈概述数栈概述数栈概述010202020202大数据基础平台大数据基础平台大数据基础平台大数据基础平台大数据基础平台070303030303大数据开发与治理大数据开发与治理大数据开发与治理大数据开发与治理大数据开发与治理120404040404数据智能分析与洞察数据智能分析与洞察数据智能分析与洞察数据智能分析与洞察数据
5、智能分析与洞察230505050505大数据服务体系大数据服务体系大数据服务体系大数据服务体系大数据服务体系280606060606产品解决方案产品解决方案产品解决方案产品解决方案产品解决方案310707070707典型客户案例典型客户案例典型客户案例典型客户案例典型客户案例400808080808荣誉与资质荣誉与资质荣誉与资质荣誉与资质荣誉与资质49数栈V6.0产品白皮书一站式大数据基础软件0101010101数栈概述数栈概述数栈概述数栈概述数栈概述01 数栈简介 数栈产品矩阵 数栈核心能力 为什么选择数栈数栈V6.0产品白皮书一站式大数据基础软件 数栈开源数栈V6.0产品白皮书一站式大数据
6、基础软件数栈-一站式大数据基础软件数栈-一站式大数据基础软件数栈-一站式大数据基础软件数栈-一站式大数据基础软件数栈-一站式大数据基础软件02数栈,袋云打造的站式数据基础软件,包含数据基础平台、数据开发与治理、数据智能分析与洞察多系列产品,融合DataOps数据运营理念,以自主可控、安全创新为技术内核,将全域数据资产进行汇聚、加、治理、服务、分析,为客户提供安全、稳定、易的数据平台,加速释放数据价值,助企业数字化转型。数栈产品矩阵数栈产品矩阵数栈产品矩阵数栈产品矩阵数栈产品矩阵开发效率提升150%+1000+应用场景500w+支持并发任务100亿+年API调用次数数栈V6.0产品白皮书一站式大
7、数据基础软件顺“数”而生 乘“数”而上顺“数”而生 乘“数”而上顺“数”而生 乘“数”而上顺“数”而生 乘“数”而上顺“数”而生 乘“数”而上D e v e l o p m e n t H i s t o r y202320222021201620182016EMR计算引擎商业化湖仓体产品商业化增强产品易稳定性数栈V6.0发布数实融合2019数栈V5.0发布业引领DataOps全域数据治理国产信创对接产品业模型标准深耕数栈V4.0发布全栈能数据安全化核能批流体+融合数据湖企业级安全体系构建数栈V3.0发布加速商业化数据服务化核能云原技术加持升级融业商业化验证数栈V2.0发布技术开源数据资产化核
8、能多集群云化弹性调度核技术开源开放数栈V1.0发布夯实基础袋云成2015数据平台化核能原多租隔离技术组件全部研数据中台次提出03数栈V6.0产品白皮书一站式大数据基础软件04核心能力核心能力核心能力核心能力核心能力 基于Flink流批一体计算架构,统一管理实时、离线数据,一套代码应用于多种场景,对接全域数据,提供高性能、高可用、高扩展性数据处理能力;基于湖仓一体平台架构,实现元数据统一标准化,一份数据应用多种业务,构建全域、全量、全时的数据资产治理能力;支持多维度、多粒度、多角色的数据分析和应用,提供丰富、灵活、易用的数据服务能力,夯实企业数字化基座,帮助企业打造高效、智能、可靠的一站式数据开
9、发治理平台。技术架构成熟稳定,夯实企业数字化地基01 基于元数据管理、数据标准化和模型化步骤,实现数据统一定义,分级分类,构建企业全域数据资产库;通过数据质量管理、数据分级管理、数据血缘分析手段,实现数据溯源追踪和价值评估,提升数据可信可用度;通过资源管理、任务调度、监控告警等手段,实现数据的高效处理、稳定运行和故障排查,保障数据的时效性和可靠性;实现数据多维洞察,全链路追踪,支撑企业各业务场景决策,提升数据价值,让数据赋能业务。统一数据资产治理,实现数据全链路追踪02 对外服务:控制数据行级权限,实现精细化访问管理数据,支持多种加密认证,保证服务安全调用,多维服务流量控制,在流量突增场景下保
10、证服务高可用;数据安全:数据全生命周期采用严格安全措施,保障数据完整性和可靠性;支持多角色、多方位、多粒度数据加密脱敏,保证数据隔离,防止数据泄露;平台安全:租户-用户权限分级管控,实现权限粒度管理精确化,追溯用户平台操作痕迹,审计报告不差毫厘,预先监控告警,全方位数据安全态势感知。三位一体安全防护,保障全生命周期03 坚持开源理念,兼容Hadoop和MPP,支持国产自主服务器及操作系统,同时与其他主流厂商数据库、数据平台、BI工具等产品的广泛兼容,实现多组件、多数据、多平台的快速接入,构建大数据生态圈;提供总计1000+SDK能力,赋能多样化生态体系,便于企业产品能力灵活集成。生态开源兼容开
11、放,赋能构建多样化生态体系04数栈V6.0产品白皮书一站式大数据基础软件05为什么选择数栈为什么选择数栈为什么选择数栈为什么选择数栈为什么选择数栈企业业务在独立开发的过程中,业务系统的数量和复杂度不断增加,数据的价值和需求日益突出。然而,由于数据分散在不同的业务系统中,数据缺乏统一的管理和集成,导致数据融合分析的难度和成本高昂,最终导致数据孤岛,影响了企业的决策效率和竞争力,无法支撑复杂的跨部门业务分析。数据孤岛林立,难以互通企业数据打通数据集成到应用全流程,聚合全域业务数据兼容多引擎、多数据源,聚合分散于业务的异构数据,实现数据的汇聚统一整合共享实现数据的全域互通和共享。打通数据采集、数据开
12、发与治理、数据共享服务全生命周期,助力企业深度数据融合,支撑复杂的跨部门业务分析和决策。帮助企业打破数据孤岛,实现数据的统一管理、集成和共享,提供一体化数据服务,让数据产生价值。没有统一的数据标准、规范和流程,导致数据质量稽核标准不统一,难以建立数据质量的准确性;没有透明有效的数据质量监控机制,难以定期检查数据质量,最终影响决策效果,降低运营效率,丧失了用户忠诚度和留存率。数据质量标准不统一,难以提升决策效率传统运维模式下,运维人员常常被动应对线上故障,随着业务复杂度越来越高,数据链路愈加冗杂,运维人员难以在日益增长的调度任务中即时响应业务故障,准确定位业务问题,也无法做到预先告警,最终导致运
13、维人员处理问题响应慢、耗时长、排查之后,严重影响业务正常运作,为企业造成巨大损失。运维监控响应慢,难以做到可视化监控使用前使用后建立多维质量评估体系,助力企业高效决策帮助企业建设全域多维数据质量评估体系,实现数据全链路数据质量监控和管理,及时发现和修复数据质量问题,提高数据质量稽核的准确、完整和一致性、及时性和可信度。帮助企业优化数据存储和管理,降低企业运维成本,提高数据处理效率;融合全域数据,数据分析更全面、更精准、更科学,为企业决策提供数据支撑。支持可视化运维,实现数据运维全方位监控对任务调度的全面监控和管理,记录异常数据,追溯数据质量问题,分析脏数据产生的原因和趋势,及时发现异常任务并预
14、警;任务出现异常,支持自动向责任人同步告警信息,第一时间处理异常任务,保障数据任务的安全问题;提供可视化运维平台和工具,通过图形化界面查看和管理任务状态,实现数据运维全方位监控。数栈V6.0产品白皮书一站式大数据基础软件06产品优势产品优势产品优势产品优势产品优势多平台适配 01持公有云、私有云、跨云部署持容器化部署与调度兼容适配CDH、TDH、Greenplum、TiDB等第三计算引擎开源开放04开源多个项:ChunJun、Taier、ChengYing等,与开源社区共共不侵客原有系统不改变客原有技术栈02技术领先云原部署湖仓体与流批体技术实践插件式开发,产品充分解耦丰富的SDK接,对接外部
15、态03安全可控数据安全:Ranger安全组件、数据脱敏服务安全:数据多种算法加密传输平台安全:权限控制、安全审计信创兼容:适配多种国产化操作系统、服务器、数据库、中间件数栈开源数栈开源数栈开源数栈开源数栈开源数栈技术团队于2018年开始,坚持在技术社区上开源项目,将数字化技术红利回馈社区,持续为大家分享技术成果,截止目前数栈技术团队已在Github上开源了ChunJun、Taier、ChengYing等项目。ChunJun是一个易用、稳定、高效的批流统一的数据集成框架,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如binlog,Kafka等。同时ChunJun
16、也是一个支持原生FlinkSql所有语法和特性的计算框架,主要应用于数据同步/数据集成模块。项目地址: 大数据计算引擎 EasyMR 湖仓一体 EasyLake数栈V6.0产品白皮书一站式大数据基础软件数栈V6.0产品白皮书一站式大数据基础软件大数据计算引擎EasyMR大数据计算引擎EasyMR大数据计算引擎EasyMR大数据计算引擎EasyMR大数据计算引擎EasyMR08EasyMR,基于Hadoop、Hive、Spark、Flink、HBase、Kafka、Trino等开源组件,构建的弹性计算引擎,提供安全可靠、弹性伸缩、低成本的大数据存储与计算服务,并实现Hadoop集群的一站式创建、
17、管理、部署、运维与监控,帮助企业快速构建大数据平台。产品架构图产品架构图产品架构图产品架构图产品架构图核心特性核心特性核心特性核心特性核心特性通过全流程化的可视化安装部署向导与双模式部署支持,适应企业不同部署场景需要,只需四步20min完成产品安装部署,产品级自动部署模式通过上传产品线组件部署流程、设置主机角色自动匹配编排,节省运维流程记忆与编排成本,提升部署效率。自动化快速部署,提升效率数栈V6.0产品白皮书一站式大数据基础软件09应用场景应用场景应用场景应用场景应用场景基于开源Hadoop,与开源社区同步迭代,并自研部分组件特性,回馈社区,以开放心态共建Hadoop生态,Spark、Fli
18、nk、Trino、Iceberg四大引擎能力优化,实现包括集成Ranger权限控制、20余种数据链接插件、算子级别结构图谱、多源批量统一存储等在内的基于原生Hadoop之上的能力提升。自研组件、安全可控提供界面化的服务运维情况管理与监控,第一时间帮助运维人员了解服务的运行状态,提供服务停止/启动,服务滚动重启、服务参数修改等功能,集成Grafana仪表盘,可直接导入开源社区监控仪表盘,支持邮件、钉钉、短信、企业微信、自定义通道等多种告警插件,可在公网、内网进行告警发送,及时通知接收人,实现快速运维。多种告警插件,快速运维通过平台部署的服务可基于平台进行服务与主机的运行情况监控,对资源状态实现实
19、时洞察,例如通过监测数据判断节点的空间使用情况,以指导对节点进行扩容或者缩容的操作,合理分配集群资源,保障集群运维稳定,实现最优化资源配置使用。支持单点快速部署,涉及到的所有服务都是单副本形式存在单一节点上,单点部署方式保留原先内部的方式,基于 docker 方式快速部署交付,同时支持高可用部署,采用主从模式,主节点出现异常时灰自动选举新的主节点保证服务的稳定运行。高可用部署保障服务企业服务监控运维企业服务监控运维EasyMR存储与计算组件兼容CDH/HDP,可以实现平滑迁移,大大降低企业迁移成本,专业的迁移工具实现数据一键迁移,高效便捷,助力企业快速实现国产化大数据基础平台的搭建与迁移,真正
20、实现对业务侧不造成任何影响。企业服务监控运维CDH/HDP平滑迁移数栈V6.0产品白皮书一站式大数据基础软件湖仓一体EasyLake湖仓一体EasyLake湖仓一体EasyLake湖仓一体EasyLake湖仓一体EasyLake10EasyLake,提供流批一体存储、湖内元数据管理、湖内数据治理、湖内数据探索的能力,支持面向湖仓一体的数据湖管理分析服务,解决传统数仓的痛点难点,无缝对接不同的计算引擎,为数据价值挖掘提供统一的数据基础,帮助企业快速构建湖仓一体。产品架构图产品架构图产品架构图产品架构图产品架构图核心特性核心特性核心特性核心特性核心特性基于湖仓一体格式的各种表特性,如 Schema
21、 Evolution、事务更新、索引强化等底层设计,解决传统离线数仓的各种痛点问题,如无法实现行级数据更新、表结构变更成本大等,并且解决了统一离线计算、实时计算、数据分析三大场景的存储计算分离问题,实现一个湖仓一体底座,同时对接多种计算引擎。湖表格式数据特性数栈V6.0产品白皮书一站式大数据基础软件11应用场景应用场景应用场景应用场景应用场景用户只需要了解湖仓一体应用特性,不用关心底层架构运维,完成运维部署、对接存储后,即可开箱即用,一个平台即可支持从湖仓一体的构建、治理到应用,体验完整的湖仓一体能力。一站式体验,开箱即用目前业内同时存在多种湖仓一体技术架构方案,如 Iceberg、Hudi、
22、DeltaLake 等,各有优势,企业可以根据内部业务需要进行技术选型,开放架构,支持对接已有数据湖架构。适配多种湖仓一体方案传统的批计算、流计算、分析计算,是三套独立的架构方案,Spark+Hive、Flink+Kafka、Impala+kudu。底层存储的隔离,必然会导致数据流转链路长、数据冗余存储、数据一致性偏差等问题,基于数据湖的批流一体存储、多引擎适配的特性,实现湖内建仓,缩短开发路径,减少数据开发的冗余存储、开发成本。基于开源的湖仓一体技术架构进行优化,提供更强大的流批一体存储能力,更完善的数据文件治理能力,如小文件合并、孤儿文件清理、数据重排序、删除文件的转化合并等,并且在 HD
23、FS 的基础上,集成 Kafka 增强湖表的实时特性。强大的流批一体存储能力企业服务监控运维湖仓一体,批流统一传统实时数仓 Flink+Kafka 的技术方案,虽然在实时性上有保障,但是也存在 Kafka 数据不落地、历史问题无法回溯等问题,通过Flink+批流一体表的方案,可以在保障计算实时性的同时,又能做到实时数据的持久化存储。企业服务监控运维传统实时数仓升级0303030303大数据开发与治理大数据开发与治理大数据开发与治理大数据开发与治理大数据开发与治理12 离线开发 BatchWorks 实时开发 StreamWorks 数据资产 DataAssets 数据服务 DataAPI数栈V
24、6.0产品白皮书一站式大数据基础软件 指标管理 DataIndex数栈V6.0产品白皮书一站式大数据基础软件离线开发 BatchWorks离线开发 BatchWorks离线开发 BatchWorks离线开发 BatchWorks离线开发 BatchWorks13BatchWorks,采用先进的大数据生态底层技术,具备灵活的多集群、多引擎对接能力,包含全链路的数据采集、数据开发、周期调度、任务运维、监控告警等功能。平台拥有多项自研核心技术,能够帮助企业快速完成数据中台离线计算部分的建设,加速释放数据价值,完成数字化转型。产品架构图产品架构图产品架构图产品架构图产品架构图核心特性核心特性核心特性核
25、心特性核心特性一个平台覆盖完整数据开发流程,减少组件运维成本与流程衔接操作,全流程可视化操作附带语法提示,3天即可上手开发,让用户专注于业务本身。全流程可视化智能开发数栈V6.0产品白皮书一站式大数据基础软件14应用场景应用场景应用场景应用场景应用场景自研批流统一的数据集成框架ChunJun,与开发环节无缝集成,支持30+种数据源,可进行任意方向的数据读取/写入,有效降低开发人员数据同步难度,提高数据同步效率。提高数据同步效率支持运维总览、任务批量补数据、运维日报、智能基线告警等丰富的实例运维功能,有效提高了开发人员排查问题的速率,降低了开发人员排查问题的成本,使任务更加平稳地运行。任务运行全
26、流程监控拥有一站式建设数据集成、开发、治理、运维等能力,为企业建设全域数据仓库提供基础设施,利用数据去驱动业务,构成业务与数据的联通闭环,助力企业数字化转型。多租户多项目组织结构,实现数据权限隔离的同时支持灵活的申请授权,支持对接LDAP账号体系,保障用户访问安全,采用数据流转全链路保护技术,关键操作细粒度审计,最大限度减少生产安全事故。全流程多维安全保障企业服务监控运维全域数仓建设可灵活集成数据资产套件,覆盖数据标准、规范建模、数据质量、元数据汇聚、数据资产治理与分析等全链路环节,提供面向数据中台的数据治理能力,快速满足政府、企业各类不同的数据治理场景。企业服务监控运维企业数据治理数栈V6.
27、0产品白皮书一站式大数据基础软件实时开发 StreamWorks实时开发 StreamWorks实时开发 StreamWorks实时开发 StreamWorks实时开发 StreamWorks15StreamWorks,基于Apache Flink构建的高性能、一站式实时数仓开发平台,实现从实时数据采集、实时数据处理、任务监控运维的全链路覆盖,支持 Flink 多版本引擎、Kubernetes 资源调度,提供丰富的运维监控曲线,助力企业数字化建设全流程的实时化改造。产品架构图产品架构图产品架构图产品架构图产品架构图核心特性核心特性核心特性核心特性核心特性内含实时开发全链路工具,集成Kafka管
28、理,一站式完成实时采集、实时开发、任务运维的全流程开发工作,降低实时计算门槛,减小用户使用成本,满足实时计算需求,提高开发效率。全链路实时开发工具,提高效率数栈V6.0产品白皮书一站式大数据基础软件16应用场景应用场景应用场景应用场景应用场景支持存量数据同步+增量日志采集还原,一体化任务,无缝衔接,同时支持基于Iceberg的批流一体任务开发,通过定期批任务,修复实时计算可能的数据问题,降低开发成本的同时又能满足多种数据处理场景。流批一体实时计算基于袋鼠云自研的批流统一的数据集成框架ChunJun,支持CDC日志变更、JDBC间隔轮询两种方式,增强多源数据的实时采集,并在实时采集时自动还原上游
29、数据和数据结构,缩短实时处理链路,有效减少实时任务的失败频率和数据清洗成本。减少实时任务数据清洗成本搭建企业实时数仓将为一线业务提供更多实时数据支撑和分析,使用 StreamWorks 一站式实时开发平台,海量数据实时处理及高并发实时入仓,协助企业建立数字化运营体系,可以免去技术选型、环境搭建、运维部署维护等一系列底层工作,开箱即用,有效减少了实时仓库的建设投入成本,降低了项目周期,实现降本增效。基于 Hive Metastore 实现统一的元数据管理,Flink 在不同 Catelog 建表后统一存储至 hive metastore,其他人员在创建 FlinkSQL 任务时无需重复定义 Fl
30、inkTable,可以直接引用 Catalog.db.table,实现元数据的统一管理与资源共享,极大提高数据开发的工作效率。统一元数据管理企业服务监控运维构建极速易用的实时数仓针对金融类企业构建实时反欺诈系统,助力金融机构快速构建实时风控体系,支撑实时反欺诈、实时大屏、实时精准推送等业务场景,帮助企业及时识别并避免潜在的风险和损失,有助于提升金融业务的安全性和效率。企业服务监控运维金融行业实时风控数栈V6.0产品白皮书一站式大数据基础软件数据资产 DataAssets数据资产 DataAssets数据资产 DataAssets数据资产 DataAssets数据资产 DataAssets17D
31、ataAssets,通过制定元数据模型、数据标准等规范,采集并维护完整的元数据信息,打通数据关系网络,实现数据的标准化和资产化管理,支持表级/字段级的数据血缘分析,实现全平台数据的追根溯源,帮助企业搭建数据资产中心,提供面向数据中台的全域数据治理能力。产品架构图产品架构图产品架构图产品架构图产品架构图核心特性核心特性核心特性核心特性核心特性提供20+数据源的元数据自动采集,保证元数据的即时性和规范性,支持统计、展示、分析包括表结构信息、血缘关系、使用分析等多种维度在内的元数据信息,带来更准确的数据价值分析。更准确的数据价值分析数栈V6.0产品白皮书一站式大数据基础软件18应用场景应用场景应用场
32、景应用场景应用场景通过事前规则配置、事中规则校验、事后分析报告的流程化方式,对数据的完整性、准确性、规范性、唯一性、一致性等方面进行多维度评估,帮助企业实现数据质量的持续监控和改进,为企业提供高质量的数据支持。提高数据质量和价值支持行业数据标准的导入和自定义数据标准的定义,覆盖词根管理、码表管理、行业模板管理、标准定义、标准映射等功能,通过数据标准的建立,企业可以更好地管理自身的数据资产,降低数据管理成本,提高数据共享与交换的效率。统一数据标准,降低管理成本根据企业所在行业的相关标准,结合企业自身的业务情况构建数据标准,形成全局统一的数据定义和数据价值体系,通过标准的映射比对,发现并修改存量不
33、符合标准的数据,再通过数据模型的规范化建表和建模,让增量数据落地即是标准的。帮助企业更好地把握自身数据资产情况,确保数据的安全性、完整性和可用性,并通过对数据价值的挖掘与分析,优化数据资产的配置和使用效率,提高数据的商业价值和利润贡献,进而实现数据驱动的企业发展战略。全链路数据资产运营企业服务监控运维行业数据标准统一接入企业的数据仓库、各个业务系统库,采集库表元数据,对接数据中台各个产品应用,获取数据使用的元数据信息,然后在采集的基础上,进行二次规范维护,补充缺失的业务元数据,汇总后提供元数据查询分析服务,有助于提高数据质量和管理效率,为企业的决策和运营提供有力的支持和保障。企业服务监控运维元
34、数据的采集/维护/查询数栈V6.0产品白皮书一站式大数据基础软件数据服务DataAPI数据服务DataAPI数据服务DataAPI数据服务DataAPI数据服务DataAPI19DataAPI,通过双模式可视化配置生成与注册API,快速构建OneService数据共享服务,可完成从 API 创建、发布、申请/审批、调用的全生命周期管控,形成企业级的API市场和API服务管理平台,是一款为企业提供统一、高效数据共享服务的产品。产品架构图产品架构图产品架构图产品架构图产品架构图核心特性核心特性核心特性核心特性核心特性覆盖共20+种主流数据源,API 生成-发布-审批-调用,全生命周期管理,通过生成
35、与注册 API,可将中台内的数据统一开放至 API 市场,形成统一的服务中心,满足企业级一站式数据共享管理需求。企业级API市场数栈V6.0产品白皮书一站式大数据基础软件20应用场景应用场景应用场景应用场景应用场景采用“申请-授权”的API管理模式,流程化控制 API 调用次数、调用周期权限,同时支持 TOKEN认证、AK/SK认证、黑白名单、行/列级权限、数据加密、安全审计等多种安全机制,保障数据服务安全稳定可靠。数据安全保障通过 API 网关对外提供数据服务,可支持分钟级十万级别的 API 调用,同时支持服务横向扩展,满足不同并发要求的客户场景,平台可以灵活设置API 单秒/单分调用次数,
36、用户调用次数/周期,控制 API 访问流量,保障服务稳定性。高并发请求快速响应适用于缺少开发接口的能力、开发接口效率低下、接口管理混乱、维护成本过高、安全性能较差的各类企业场景。建设企业内的数据共享、发布平台,将所有API统一在一个平台内进行管理,将内部系统整合,模块化、服务化,客户仅需关注自身的业务逻辑,快速高效完成数据共享,同时数据服务系统充分保障了数据的安全性。提供向导模式、自定义 SQL2 种开发模式,同时支持多种操作符、连接符、子查询、聚合函数、视图等能力,极大简化了 API 创建的复杂度,配置即开发,支持0代码、低代码快速构建API,3分钟即可快速生成。0代码开发简单易用企业服务监
37、控运维统一数据共享服务体系建设建设API开放平台,提供标准的 API 服务,将企业的核心能力开放给合作伙伴,达成深度合作,协同发展,并让其他开发者将不同 API 服务组合整合到自己的应用中,衍生出新的服务,促进企业建立商业生态、跨界创新。企业服务监控运维建立 API 生态,协同发展数栈V6.0产品白皮书一站式大数据基础软件指标管理DataIndex指标管理DataIndex指标管理DataIndex指标管理DataIndex指标管理DataIndex21DataIndex,指标体系搭建与自助取数平台,覆盖 了指标的规范化定义、标准化开发到搭建企业数据指标体系,落地指标数据结果的全链路过程,同时
38、提供上层的综合查询、共享服务、取数分析等应用。消除数据的二义性,降低业务和技术的沟通成本,搭建企业级数据指标体系,沉淀企业指标资产,支撑业务场景分析,精准辅助决策,实现指标数据的可视、可用、可管。产品架构图产品架构图产品架构图产品架构图产品架构图核心特性核心特性核心特性核心特性核心特性覆盖指标管理从定义、开发、调度、发布、应用的全过程,提供一站式的指标开发服务,通过平台能够实现指标管理中的各个过程,落地指标管理全流程,统一指标管理规范,沉淀指标资产。一站式指标管理数栈V6.0产品白皮书一站式大数据基础软件22应用场景应用场景应用场景应用场景应用场景提供可视化的操作配置界面,简单快速配置指标生成
39、技术口径,降低指标开发的技术门槛,全程无代码即可生成指标,满足多样化的指标配置场景,让不懂 sql 的用户也能够根据业务逻辑,实现指标的开发生成。可视化轻代码开发,简单易用通过指标目录、指标字典的制定,结合原子、派生、复合、自定义4指标类型,模型开发、指标开发、自定义sql开发三种开发方式,建立统一健全的指标规范体系,消除数据二义性。规范化指标体系建设开发完成的指标发布至指标市场,业务人员可基于自己有权限的指标进行自助取数,通过维度与指标,采用拖拽的方式实时查看数据结果,并生成固定的报表,周期运行,让业务人员生成变得简单、高效,轻松驾驭,并为企业决策提供数据支撑。基于自研的分布式调度工具Tai
40、er,与指标开发模块无缝集成,用户仅需在指标配置页面配置其调度信息即可完成依赖和周期配置,且支持丰富的配置内容,目前在大规模任务场景下周期性、依赖性 的任务调度支持百万级别并发调度,能够充分满足数据指标计算的日常调度需求。满足数据指标计算调度需求企业服务监控运维在线取数生成多样化数据报表指标管理平台可生成固定报表,也可通过API接口提供指标数据服务,这两种方式皆可对接上层的BI应用和数据 门 户,实 现 指 标 的 可 视 化 图 表 分 析,生 成DashBoard,企业通过数据指标计算结果的呈现,可以更好地辅助业务,了解行业现状,支撑业务决策。企业服务监控运维指标可视化分析04040404
41、04数据智能分析与洞察数据智能分析与洞察数据智能分析与洞察数据智能分析与洞察数据智能分析与洞察23 客户数据洞察 UserInsight数栈V6.0产品白皮书一站式大数据基础软件 智能数据分析平台EasyBI数栈V6.0产品白皮书一站式大数据基础软件客户数据洞察UserInsight客户数据洞察UserInsight客户数据洞察UserInsight客户数据洞察UserInsight客户数据洞察UserInsight24UserInsight,标签体系构建与客户画像洞察平台,旨在根据业务需求,通过标签萃取、标签治理、客群圈选、画像分析、数据服务等手段,构建完善的标签体系和多样化群组,深入挖掘客
42、户特征,形成全面的客户画像,并将这些信息应用于企业的运营和营销中,为商业化分析提供支撑,促进业务增长。产品架构图产品架构图产品架构图产品架构图产品架构图核心特性核心特性核心特性核心特性核心特性支持原子标签、衍生标签、组合标签、自定义标签 4 种类型的标签,以及将字段映射为标签、界面化向导、编写 SQL 语句、导入文件等多种模式创建标签,适应不同场景标签创建需要,低门槛数据加工,自助生产和维护标签,帮助企业一线人员灵活掌控标签规则,赋能业务随需随取,降低标签生产与维护成本。灵活简单生产标签数栈V6.0产品白皮书一站式大数据基础软件25应用场景应用场景应用场景应用场景应用场景平台底层集成分析引擎
43、OLAP 查询,通过界面化向导的方式,根据“且、或”关系在实体的全部数据范围内进行嵌套式标签圈群,最大支持 5 个层级的嵌套条件,满足用户自助、实时、快速圈定目标人群的需要,快速落地营销方案。整个 过程业务人员可自主完成,降低业务人员数据分析的门槛。降低数据分析门槛通过画像分析、显著性分析、交并差计算、AIPL模型、RFM模型等,洞察个体与群组特征,优化标签体系与群组投放,从不同标签维度分析群组特征,通过可视化的图表 360掌握群组全景,全方位的群组洞察和分析,使数据营销快速化、精准化。数据营销快速化、精准化基于用户行为数据与基础数据,在客户数据洞察平台进行标签定义、标签配置、标签加工,为各用
44、户打上标签,对用户进行深入细致的分析和描述,形成全面准确的用户画像,企业可以更好地了解用户需求和特征,从而制定更加有效的营销策略和产品方案。同时,用户全景画像可以与其他业务系统进行整合,例如CRM系统,从而为企业提供闭环化的用户管理和服务流程。使用标准 API 接口对外提供标签/群组数据服务,数据调用情况全过程监控,同时提供平台任务实例、运行日志的可视,支持任务的启停、监控告警,保障标签数据的加工,以及通过标签审批-授权、行级权限、标签脱敏、标签服务授权等精细化控制标签使用权限,全方位保障数据安全。安全高效提供数据企业服务监控运维用户全景画像根据用户标签、商品标签、结合用户信息、行为数据及用户
45、画像分析,形成用户 行为序列,分析特征,基于机器学习模型进行协同过滤,匹配智能标签库,根据用户的实时行为数据,进行个性化推荐。通过千人千面的个性化推荐,企业可以更好地理解用户需求并提供符合期望的服务,提高用户忠诚度和购买率,同时帮助企业优化资源配置,降本增效。企业服务监控运维千人千面,个性化推荐数栈V6.0产品白皮书一站式大数据基础软件智能数据分析平台EasyBI智能数据分析平台EasyBI智能数据分析平台EasyBI智能数据分析平台EasyBI智能数据分析平台EasyBI26EasyBI,全场景数据消费式的BI产品,通过智能的数据分析和丰富的可视化能力,帮助企业构建数据分析平台和决策支持系统
46、,既可以使用 EasyBI构建面向管理层的决策分析平台,构建面向不同业务的垂直数据应用,也可以将数据分析集成和嵌入在企业的业务流程中,或者直接搭建面向全员的自助分析工具和报表平台。产品应用流程产品应用流程产品应用流程产品应用流程产品应用流程核心特性核心特性核心特性核心特性核心特性可视化拖拉拽搭建数据看板,分钟级开发一张数据报表,0代码交互式的可视化操作面板极大提升报表开发和数据分析的效率。数据可视化,开发快数栈V6.0产品白皮书一站式大数据基础软件27应用场景应用场景应用场景应用场景应用场景通过EasyBI,企业可以将人、财、物、事等数据全面在线,智能监控预警与多端消息推送,让数据与组织在线协
47、同,全面提升企业移动办公的效率,随时随地获取数据快速决策。办公协同,决策快支持各种不同类型的企业的安全管理模式,对于强IT支撑式的企业支持企业级中心化统一管理和授权,对于数字化和扁平化的企业支持组织协同时的精细化管控。企业级安全管控EasyBI仪表盘支持在移动端随时随地查看,随时追踪业务的变化情况,快速基于数据做调整,比如零售行业追踪销售金额、KPI完成情况,以及按照业务模式拆解到各个事业部、地域。EasyBI 在阿里云、淘宝、钉钉等多平台,提供适合不同规模企业的多种规格、高性价比、开箱即用的数据服务。多平台可用能力企业服务监控运维核心业务追踪利用EasyBI分析流量来源渠道、流量变化趋势、流
48、量转发情况,便于企业发现问题、监控业务目标进度、对部分渠道采取重点措施引流,包括核心指标的进度、流量来源的途径、对比漏斗图等内容。企业服务监控运维互联网流量分析0505050505大数据服务体系大数据服务体系大数据服务体系大数据服务体系大数据服务体系28 数据化规划 数据化建设 数据化可观测运维数栈V6.0产品白皮书一站式大数据基础软件数栈V6.0产品白皮书一站式大数据基础软件从规划到应用落地,提供“管家式”数据化服务从规划到应用落地,提供“管家式”数据化服务从规划到应用落地,提供“管家式”数据化服务从规划到应用落地,提供“管家式”数据化服务从规划到应用落地,提供“管家式”数据化服务29聚焦企
49、业业务体系和业务流程,提供业务蓝图规划咨询,提供业务场景规划方案。数据化规划数据化规划数据化规划数据化规划数据化规划数据化建设数据化建设数据化建设数据化建设数据化建设业务蓝图规划数据资产盘点、数据架构设计及融合方案、数据治理方案等。数据资产规划实施交付整体方案、路径及方法论等。实施交付路径聚焦企业业务体系和业务流程,提供业务蓝图规划咨询,提供业务场景规划方案。组织转型建议扫码下载数据治理白皮书数栈V6.0产品白皮书一站式大数据基础软件30数据化可观测运维数据化可观测运维数据化可观测运维数据化可观测运维数据化可观测运维通过构建系统运行状态指标,设定预警阈值,对接业务系统,当系统出现异常之后,运维
50、指标自动报警并提示。运维指标通过构建运维驾驶舱,直观展现运维数据指标及其动态变化。运维看板数字化技术的应用咨询,平台的功能迭代以及能力升级,平台的运维服务等。平台维护升级扫码下载云管理白皮书0606060606产品解决方案产品解决方案产品解决方案产品解决方案产品解决方案31 数据集成解决方案 数据仓库解决方案 湖仓一体解决方案 DataOps解决方案 数据治理解决方案 集团型企业数据中台解决方案 一体化智能化公共数据平台数栈V6.0产品白皮书一站式大数据基础软件 数据云解决方案数栈V6.0产品白皮书一站式大数据基础软件数据集成解决方案数据集成解决方案数据集成解决方案数据集成解决方案数据集成解决
51、方案32基于袋鼠云数栈自研流批一体数据集成工具ChunJun,构建企业级数据集成方案,打通业务系统之间的数据壁垒,提升企业数据共享能力,实现企业数据全域互通,助力客户数字化转型。解决方案架构图解决方案架构图解决方案架构图解决方案架构图解决方案架构图方案优势方案优势方案优势方案优势方案优势快速配置抽取任务,支持分批抽取、批量命名等配置;支持同步业务数据中的新增及变化数据,提高同步效率;支持记录同步点位,中断时自动重启并从之前点位继续同步,保障数据抽取可靠性。保障数据稳定同步底层技术自研,数据同步低延迟、高吞吐、高可靠;支持可视化/脚本双模式数据同步,满足不同人员集成需求,支持全量和增量同步及性能
52、展示,支持多通道并发抽取、同步速度上限控制和读写数据总量同步。提高数据集成效率记录同步任务异常数据,可追溯源头数据质量问题,自动统计脏数据产生趋势及数量,及时发现异常任务;数据迁移提供迁移异常报警,迁移任务出现异常,即向责任人同步告警,第一时间处理异常任务。可视化运维监控支持30+种异构数据源集成,支持数据源任意方向数据读写,屏蔽各业务系统底层数据存储技术差异,实现全域数据汇聚,为上层计算应用提供统一的数据出口。全域数据异构集成数栈V6.0产品白皮书一站式大数据基础软件数据仓库解决方案数据仓库解决方案数据仓库解决方案数据仓库解决方案数据仓库解决方案33依托时下大数据最新技术,构建离线与实时数据
53、仓库,提供数据仓库整体解决方案,为数据分析增添新动力,实现企业智能化数据建设,加速企业数字化转型。解决方案架构图解决方案架构图解决方案架构图解决方案架构图解决方案架构图方案优势方案优势方案优势方案优势方案优势依托最新数仓技术,紧跟数字化浪潮脚步,并通过低代码化和界面化的方式大大降低开发门槛,同时加快开发效率,缩短开发周期,为企业数字化转型添加新动力。助力数字化转型通过降低开发门槛以及便捷的运维操作,大大降低企业人力成本,又提高了系统的运行效率和稳定性,同时依托新技术,加快数据价值呈现,帮助企业真正实现降本增效。帮助企业实现降本增效基于标准的数仓建设理论,在统一的开发平台上构建全面的数仓开发,并
54、通过数据地图和数据血缘全面感知数据资源的来源、结构和特征,确保数据的质量和完整性,为上层业务提供科学决策服务。科学决策支撑依托平台融合多个业务系统数据,打通业务系统壁垒,建立统一的融合分析平台,形成完整、精准和高效的数据生态系统,帮助企业实现数据信息的集成和共享,提高数据利用率和价值,为业务经营决策提供全面支撑。统一分析平台数栈V6.0产品白皮书一站式大数据基础软件数据云解决方案数据云解决方案数据云解决方案数据云解决方案数据云解决方案34连通企业各个环境下的数据,为企业搭建“总部管理,部门共享”云平台,统一数据存储、运维和管理,保障数据访问安全,基于多租户架构,增加“数据下发”模块,按总分两级
55、租户,提高数据下发效率,促进数据应用共享,持续深化数据赋能。解决方案架构图解决方案架构图解决方案架构图解决方案架构图解决方案架构图方案优势方案优势方案优势方案优势方案优势企业内各级部门数据汇聚于数据云平台内,真正实现整个企业数据集中化存储,独立化计算,便于企业对数据的全面管理,并且搭建一个数据云平台,能够大幅减少各级部门的软/硬件采购/运维成本。数据集中,节约成本打破传统数据下发模式,通过数据云平台,各分级部门可按需申请所需数据并获取数据,实现机构应用创新;并且各级部门具备独立的数据应用服务体系,可根据机构自身业务特性,构建数据赋能体系,促进企业的业务创新。应用创新,数据赋能基于数据权限控制,
56、防止数据丢失、误删除,从而更好地保障企业数据安全。权限控制,保障安全总部通过一键下发完成数据分机构下发,打破传统的数据切分文件传输下发模式,提升数据下发的效率和安全性,并大幅提高数据开发与运维效率。一键下发,提高效率数栈V6.0产品白皮书一站式大数据基础软件湖仓一体解决方案湖仓一体解决方案湖仓一体解决方案湖仓一体解决方案湖仓一体解决方案35基于大数据仓库与数据湖进行湖仓一体化能力构建,其汇聚业务类型、多形态数据进行统一存储,并统一多类计算引擎语义,可基于一套语义进行不同场景的数据多维分析,支持数据离线计算、实时计算、即席查询,为企业提供灵活、安全可控的大数据基础平台能力。解决方案架构图解决方案
57、架构图解决方案架构图解决方案架构图解决方案架构图方案优势方案优势方案优势方案优势方案优势基于Kafka+Hudi/Iceberg,定义批流一体表,从数据全量离线入湖、增量数据实时入湖,到数据实时计算+批计算,解决流数据难追溯、实时性不足等问题,并节省计算资源与开发成本。流批一体,降低开发成本基于Trino计算引擎,实现数据跨源联邦查询,实现数据融合,降低分析成本,并提升查询效率,让数据更大规模使用起来。数据联邦查询,打破数据孤岛基于Ranger数据安全组件,实现大数据基础平台多类计算引擎的多租户、多库表权限控制、列级/行级权限控制、数据脱敏,保障数据使用安全。权限控制,保障数据安全实现数据存储
58、与计算的分离,数据存储于Hadoop及对象存储中,计算采用Spark、Flink、Trino等计算引擎,集群资源更好评估、动态调配,提升资源利用率及集群稳定性。存算分离,保障集群稳定性数栈V6.0产品白皮书一站式大数据基础软件DataOps解决方案DataOps解决方案DataOps解决方案DataOps解决方案DataOps解决方案36打通企业数据生命周期全流程,基于DataOps方法论,依托于袋鼠云数据中台生态,帮助客户构建高效、敏捷、可信的数据服务体系,助力企业数据赋能业务,完成数字化转型。解决方案架构图解决方案架构图解决方案架构图解决方案架构图解决方案架构图方案优势方案优势方案优势方案
59、优势方案优势基于敏捷和协作理念,高效采集、集成、虚拟化全域数据,实现数据的实时流动和交付,满足不同场景和用例的数据需求;实现数据的全面覆盖和连接,提高数据可获取性和可利用性,帮助企业洞察数据价值。洞察数据价值基于DataOps数据链路运维理念,完善数据的清洗、标准化、匹配、监测等服务,保证数据各阶段质量与合规要求;帮助企业减少数据异常,保证数据的准确性和完整性,避免数据泄露和违规风险,为业务运行保驾护航。高效数据治理自动化调度数据需求,更高效地完成数据开发、调试和部署流程,高效产出准确、完整、及时、一致的数据;数据产出可复用,便于在不同场景下洞察比较数据的分析、比较和检验,视角全面,便于业务决
60、策方高效决策。精准业务决策统一团队数据标准和开发目标,跨部门、跨环境、多角色协同,数据开发成果实现共享和开放,避免数据孤岛、手动劳动、信任缺失、治理问题和技能缺口的问题,让企业数据链路协作更高效,清晰,促进企业数据结果产出。促进团队协作数栈V6.0产品白皮书一站式大数据基础软件数据治理解决方案数据治理解决方案数据治理解决方案数据治理解决方案数据治理解决方案37基于袋鼠云产业化数据治理方法论,打通企业全域数据源,帮助客户梳理数据资产、提升数据质量、保障数据安全、探寻数据价值。依托国家、行业、企业数据规范,助力企业建立数据治理最佳实践,提升数据资产使用效率和价值创造能力,帮助企业推进数字化进程。解
61、决方案架构图解决方案架构图解决方案架构图解决方案架构图解决方案架构图方案优势方案优势方案优势方案优势方案优势建设数据标准体系,自动引入数据模型,完成数据规范设计,从而提升数据的一致性、准确性和可靠性,助力不同部门数据标准化,避免因数据格式、命名、单位等不一致导致的数据混乱,加强数据安全性,减少数据泄露和滥用风险,维护企业数据资产安全。数据内容规范化建设数据质量评估体系,灵敏感知全域数据质量,减少数据冗余和错误,提高数据的可信度和可用性。优化企业数据存储和管理,降低运维成本,提高数据的处理效率;融合全域数据,视角更开口,数据分析更全面、更精准、更科学,为企业领导决策提供数据支撑。数据质量显像化依
62、托数据治理方法论,通过梳理企业数据,规范企业内容,评估企业质量,构建企业价值流通体系,提高企业决策的准确性和科学性。优化业务瓶颈问题,发现新市场,新机遇,优化客户服务流程,通过数据的应用和创新,不断提升企业的竞争力和市场地位。数据价值可量化建设数据结构化管理体系,依托数据治理,清晰构建企业业务信息流和数据链路流,使得流程有迹可循,数据有处可查,打通数据与业务壁垒,加快数据资产化、资产价值化、价值服务化的过程,提高数据的利用价值和竞争优势,真正实现企业降本增效。企业数据结构化数栈V6.0产品白皮书一站式大数据基础软件集团型企业数据中台解决方案集团型企业数据中台解决方案集团型企业数据中台解决方案集
63、团型企业数据中台解决方案集团型企业数据中台解决方案38基于数栈搭建企业内部的数据中台,促进数据资产的对内对外开放应用,实现数据资产价值与变现能力的全面提升,实现产品、营销、客户等角度的全域闭环分析,实现业务与经营的洞察和预测,助力用户实现业务感知、互联、智能,帮助集团企业建设数字化基础设施,实现数字化转型。解决方案架构图解决方案架构图解决方案架构图解决方案架构图解决方案架构图方案优势方案优势方案优势方案优势方案优势同 时 支 持 CDH、HDP、EMR、星 环、华 为FusionInsight、Kylin、TiDB等多种第三方引擎,真正的中台级产品,能够满足企业对于数据安全性、可靠性、易用性和
64、快速迭代的需求,为企业数字化转型提供更好的支撑和帮助。多引擎易解耦开放的元数据自动采集,支持多种数据源接入和快速扩展,全链路的数据资产治理,包括数据血缘、数据权限、数据质量等专业治理工具,确保数据的可靠性和安全性;元数据查找秒级定位,提升数据治理的效率和水平,从而更好地支撑企业业务的发展和创新。全链路数据治理从采集-存储-计算-应用-销毁,全链路保障数据安全,支持数据的行级权限控制,Token、AK/SK加密认证方式,以及按时间、按访问并发来控制服务访问,平台用户所有系统操作可追溯查询,所有模块、操作告警可配置可通知,实现全生命周期数据安全防护。全生命周期安全防护基于k8s的云原生技术,支持容
65、器化部署和资源调度,实现弹性伸缩,保证系统在高峰期仍能正常运行;可视化SQL编辑,托拉拽式作业编排,百万级任务调度,开发效率提升3倍;快速部署,不间断扩容,支持集群不停机升级。自动化快速部署数栈V6.0产品白皮书一站式大数据基础软件一体化智能化公共数据平台解决方案一体化智能化公共数据平台解决方案一体化智能化公共数据平台解决方案一体化智能化公共数据平台解决方案一体化智能化公共数据平台解决方案39为政府数字化改革,提供大数据存储、计算、开发、算法等基础能力支撑,归集业务数据,实施数据治理,沉淀数据资产,支撑政府各部门数据共享和业务协同,提升“善政、惠民、兴企”综合能力。解决方案架构图解决方案架构图
66、解决方案架构图解决方案架构图解决方案架构图方案优势方案优势方案优势方案优势方案优势全面提升数字政府集约化建设水平,支撑技术融合、业务融合、数据融合,提升跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务水平,政府可以更加高效、精准地处理各类事务,实现政府治理的现代化和数字化转型。多跨协同通过动态掌握政府全局数据资源,加强数据应用,让数据说话,利用大数据精准推荐、智能推送等特性,持续优化利企便民数字化服务,提高主动服务、精准服务、协同服务、智慧服务能力,使政府的治理和服务更智能、更科学、更精准。智能精准将共性的数据计算、数据分析、数据处理、数据展现等能力多方统一整合,跨区域、跨层级共享和复用
67、,避免重复建设、资金浪费,推动政务工作不断创新、协同、共享,为人民群众提供更好的公共服务,真正实现降本增效。降本增效打通分散于整个政府体系的异构业务数据中的数据隔离,加强政府数据汇聚融合、共享开放和开发利用,充分发挥数据的基础资源作用和创新引擎作用,提高政府决策科学化水平和管理服务效率,优化政府服务和管理体系,进一步提升政府的公信力和社会形象。数据赋能0707070707典型客户案例典型客户案例典型客户案例典型客户案例典型客户案例40 EasyMR在全国性股份制商业银行的应用 离线开发在985高校中的应用 实时开发在财经资讯供应商的应用 数据资产在芯片制造企业中的应用 数据服务在证券企业中的应
68、用 指标管理在银行客户中的应用 客户数据洞察在基金企业中应用数栈V6.0产品白皮书一站式大数据基础软件 客户证言数栈V6.0产品白皮书一站式大数据基础软件基于EasyMR,赋能股份制商业银行提高系统性能60%基于EasyMR,赋能股份制商业银行提高系统性能60%基于EasyMR,赋能股份制商业银行提高系统性能60%基于EasyMR,赋能股份制商业银行提高系统性能60%基于EasyMR,赋能股份制商业银行提高系统性能60%41为解决分行数据应用建设效率差等问题,此客户需要建立一套“总行统一调度+分行数据协同共享”的数据应用云平台,全方位提升业务的敏捷性、协同的灵活性和决策的科学性,为其数字化转型
69、提供发展新动能。建设内容建设内容建设内容建设内容建设内容价值收益价值收益价值收益价值收益价值收益采用云平台的模式,总行+各个分行是平台上的单独租户,底层存储、计算资源共享,数据权限隔离保证安全读、写集群分离,利用更多的资源,支撑业务系统,有效提升整体访问性能,并提升整体资源利用率兼容信创生态体系,后续可平滑迁移至国产化环境,高效便捷总行统一调度能够优化数据处理流程,避免分散处理数据所带来的资源浪费,使得数据在处理过程中更加可控、高效,降低数据管理成本。0150+50+50+50+50+节点128C 256GB128C 256GB128C 256GB128C 256GB128C 256GB单 节
70、 点配 置60%60%60%60%60%系统性能降低数据管理成本通过平台的搭建和运行,各个分行可以更加快速地获取数据,减少重复工作和时间浪费,提高数据应用效率和业务决策的准确性。02提高数据应用效率平台通过权限控制、数据备份和恢复等手段,保障数据的安全性和可靠性。03增强数据安全性数栈V6.0产品白皮书一站式大数据基础软件借力离线开发,985高校建设“智慧校园”需求响应提速50%借力离线开发,985高校建设“智慧校园”需求响应提速50%借力离线开发,985高校建设“智慧校园”需求响应提速50%借力离线开发,985高校建设“智慧校园”需求响应提速50%借力离线开发,985高校建设“智慧校园”需求
71、响应提速50%42广东省首批国家“双一流”A类、985、211综合性全国重点大学,因为业务系统的独立等因素影响,存在数据融合程度低、数据质量差、数据应用单薄不成体系等问题,需要建设大数据开发平台,为其提供海量的存储和可伸缩的计算能力。建设内容建设内容建设内容建设内容建设内容价值收益价值收益价值收益价值收益价值收益打通全校18个业务系统,240+表的高校全域数据采集,其中包括业务系统、日志、网络流量、物联网数据等,进行离线/实时集成和统一管理,形成全域数据资产根据业务需要形成服务大数据化、业务大数据化、学生行为大数据化等多种主题,支撑学校业务侧的运营,如教师评级、课题研究、学术研究、校园数据标签
72、等场景引入多形式智能数据脱敏,数据权限管控来保护敏感数据,防止恶意使用,对接校内使用的企业微信进行项目级任务质量报告发送,实现数据质量全局管理数据平台全面升级,超额达成国家倡导的高校大数据建设要求,成为高校大数据基础设施建立范本。0130%30%30%30%30%任务运速率60%60%60%60%60%件问题出现次数50%50%50%50%50%需求响应提速加速高校数字化转型有效解决信息化孤岛问题,通过挖掘和利用数据的价值,实现管理、教学、科研、服务等各项工作的感知、判断、评价和预警。02从经验管理到数据管理提炼基础业务需求,形成数据化应用产品,为业务决策、业务运营提供更好的支撑,提升了学校管
73、理运营效率及管理机制创新。03赋能业务应用数栈V6.0产品白皮书一站式大数据基础软件实时开发助力财经资讯供应商走上降本增效之路实时开发助力财经资讯供应商走上降本增效之路实时开发助力财经资讯供应商走上降本增效之路实时开发助力财经资讯供应商走上降本增效之路实时开发助力财经资讯供应商走上降本增效之路43针对目前金融信息平台建设过程中数据源监控手段单一、数据处理任务有“排队”现象、业务参与度低等问题,启动数据开发管理与服务项目建设,提升数据开发管理与服务能力,整合现有各类数据资源,进行金融信息平台建设。建设内容建设内容建设内容建设内容建设内容价值收益价值收益价值收益价值收益价值收益整合客户业务系统数据
74、,多渠道数据接入,批数据、流数据统一接入金融信息平台兼容已有的CDH和TiDB计算集群,无缝对接客户计算引擎,多计算引擎支持对接已有数据湖数据,TiDB数据库数据,进行统一的数据资产管理目录建设对接数据湖系统、数据API系统,数据资源平台和客户内部各个业务系统账号打通,整合4大业务系统数据,做到统一开发管理。01100+100+100+100+100+实时采集任务50+50+50+50+50+实时计算任务80%80%80%80%80%数据补录效率统一开发管理整合CDH引擎和TiDB引擎,一套开发套件实现两种引擎对接,丰富的运维调度策略,满足全方位业务场景需求。02双计算引擎对接帮助客户实现数据
75、人工补录系统开发,流程化数据补录流程,集合权限审批、操作审计功能,确保重要数据安全。03流程化数据补录数栈V6.0产品白皮书一站式大数据基础软件携手芯片制造企业建设数据资产平台实现企业数据一站式管控携手芯片制造企业建设数据资产平台实现企业数据一站式管控携手芯片制造企业建设数据资产平台实现企业数据一站式管控携手芯片制造企业建设数据资产平台实现企业数据一站式管控携手芯片制造企业建设数据资产平台实现企业数据一站式管控44该客户是各领域存储器解决方案厂商,为满足海量内部数据管理需求,需要建设一套数据资产平台,实现企业数据的集中化、标准化、规范化、资产化的一站式管控。建设内容建设内容建设内容建设内容建设
76、内容价值收益价值收益价值收益价值收益价值收益建设一站式元数据查询门户,对接各类数据源,自动采集同步汇聚企业内各个数仓、业务系统的元数据信息提供标准化的元数据管理解决方案,自定义元数据模型,统一元数据维护的标准,导入线下近万条元数据信息,实现线上化管理对接企业用户体系、SSO系统,实现数据权限的统一管理,按业务线、部门划分资源目录,方便业务方查询有效降低元数据的维护成本,由原先的每月维护更新改为目前的每日实时更新,真正为企业实现降本增效。0130+30+30+30+30+接数据源3w+3w+3w+3w+3w+接元数据表300+300+300+300+300+持每查询降本增效基于元数据模型和数据标
77、准,实现配置化的规范建表,让数据落地即是标准。02规范建表行为平台已接入30+数据源、3w+表的元数据,实现元数据的线上化管理,助于企业更好地理解自己的数据资产,制定更好的数据战略,增强竞争力和创新能力。03实现元数据线上化管理数栈V6.0产品白皮书一站式大数据基础软件助力综合类证券公司形成统一API服务平台以科技赋能业务高效发展助力综合类证券公司形成统一API服务平台以科技赋能业务高效发展助力综合类证券公司形成统一API服务平台以科技赋能业务高效发展助力综合类证券公司形成统一API服务平台以科技赋能业务高效发展助力综合类证券公司形成统一API服务平台以科技赋能业务高效发展45该客户为全国性大
78、型综合类证券公司,在全国 118 个城市和地区共设有 50 余家分公司,没有完善的数据服务管控平台,各个业务系统数据对外独立建设接口,数据API接口调用量高,服务器压力大,继而导致数据服务质量粗糙,数据应用效率低下,需要形成统一完善的API服务平台,助力充分发挥数据价值。建设内容建设内容建设内容建设内容建设内容价值收益价值收益价值收益价值收益价值收益快速将不同类型的数据源表中的数据生成 API,同时将其他系统中已存在的 API 注册到数据服务,进行统一规范、统一管理,形成企业级的API市场和API服务管理平台通过API申请、管理双角色机制,实现API调用的权限控制,API调用者需在API市场进
79、行API申请,支持申请时的数据预览、在线调用调试等功能,管理员可按照时间段、调用次数等条件进行灵活控制部署 2 台 Server 服务器、单独部署 5 台 gateway 服务器进行分流,减轻服务器的压力,从而使服务器正常运行原来内部存在多种数据服务方式,接口多样,使用DataAPI后,数据服务方式进行全局统一,API 统一管理,接口格式统一、调用方式统一,业务系统集成时方便,快速,提高了数据应用效率。0150+50+50+50+50+API数量10w+10w+10w+10w+10w+API调量60%60%60%60%60%开发效率实现API 服务方式统一gateway 和 server 分开
80、部署,并支持横向拓展,保持服务器性能的稳定性。02支持高调用量客户将数据量大,经常被调用的 API 开启了 Redis 缓存,并根据不同的业务分别对相应的 API 设置了合适的缓存有效期,保证高效 的同时充分保证了数据的准确性。03减少 API 的响应时间数栈V6.0产品白皮书一站式大数据基础软件为银行客户搭建指标管理平台4倍提升指标开发效率为银行客户搭建指标管理平台4倍提升指标开发效率为银行客户搭建指标管理平台4倍提升指标开发效率为银行客户搭建指标管理平台4倍提升指标开发效率为银行客户搭建指标管理平台4倍提升指标开发效率46客户底层数仓表已完成建设,基于当前大量的业务数据表,有很多不同的业务
81、场景需要进行数据统计指标计算,且不同的业务场景之间存在相同的业务指标交叉,需要通过指标平台和指标体系的建设,基于不同的业务场景合理规划杂乱的指标内容。建设内容建设内容建设内容建设内容建设内容价值收益价值收益价值收益价值收益价值收益通过可视化指标开发模式,规范化定义开发所有业务指标,统一指标口径、落地指标数据,建设上层服务数仓表,从多种维度对指标进行分析建设指标资产开放市场,统一管理指标权限,统一查询企业指标元数据,快速定位指标信息,查看指标口径与含义,充分发挥指标价值提供了可视化的指标取数功能,满足了现有指标的各种业务取数场景,保证了结果的准确性和可信度为企业搭建了统一健全的指标规范体系,沉淀
82、300+指标资产,消除数据二义性,降低了业务人员和数据开发的沟通成本。01300+300+300+300+300+指标资产4倍4倍4倍4倍4倍指标开发效率75%75%75%75%75%覆盖取数需求搭建企业指标体系释放了开发资源,已建设的指标覆盖日常75%的临时取数需求,并且大幅度提高了指标开发效率,10个指标的开发时间平均从5人/天缩短到1人/天。02释放开发资源、提高开发效率平台已稳定支持日均近千次的数据查询需求,让业务人员随心所欲取用数据。03提高数据利用率数栈V6.0产品白皮书一站式大数据基础软件助力基金客户搭建客户数据洞察平台提升运营效率70%助力基金客户搭建客户数据洞察平台提升运营效
83、率70%助力基金客户搭建客户数据洞察平台提升运营效率70%助力基金客户搭建客户数据洞察平台提升运营效率70%助力基金客户搭建客户数据洞察平台提升运营效率70%47公司各项业务迅猛发展、客户数据量急剧增长,公司对客户、产品、渠道、反洗钱等方面的数据分析、运营提出了更高要求,需搭建客户数据洞察平台,提升营销效率。建设内容建设内容建设内容建设内容建设内容价值收益价值收益价值收益价值收益价值收益对接星环TDH引擎提供标签实施服务,为客户梳理标签体系,完成标签开发,建立客户标签体系,支持销售、服务、合规等不同角度的需求便捷的标签开发、运算、展示和输出等全生命周期管理,支持客户个体及群组画像、客户群圈选和
84、对比,支持快速推广、智能营销、精准服务助力客户建立了自己的一站式标签体系与画像分析系统,形成9大类353个标签,囊括客户价值、服务敏感、定投、交易、持仓、损益等主题。0160%60%60%60%60%标签加效率300+300+300+300+300+标签数量70%70%70%70%70%运营效率360客户标签体系通过数栈兼容客户的星环大数据平台,充分集合海量数据的计算、存储和加工的能力,利用数栈一站式标签开发能力,便捷支持数据接入、数据清洗、标签构建和标签服务。02保护现有IT投资应用在基金营销、反洗钱风险控制、用户流失召回等多个方向,让千人千面的营销运营成为可能。03驱动业务增长数栈V6.0
85、产品白皮书一站式大数据基础软件众多客户的信赖之选众多客户的信赖之选众多客户的信赖之选众多客户的信赖之选众多客户的信赖之选48数栈一直以来重视客户感受和需求,依托顶尖技术团队和丰富落地实践经验,专注提升产品品质,不断收集客户反馈,持续增加新功能并不断优化旧功能,为用户输出最佳产品使用体验,致力于为客户提供“可见、可用、可管”的有价值的数据服务。智能标签搭建、精准客群画像是现在互联网金融工作中非常重要的一环,客户数据洞察平台,与我行CRM筛选器、营销活动实现集成,赋能实现精准营销,购买转化率提升30%。杭州联合银行数据孤岛现象严重,数据需求响应周期长,数据开发成本高,搭建了离线开发平台后,实现了标
86、准化数据开发,智能化数据运维,能够更快速地响应业务数据需求了。中原银行作为在校师生达七万人的高校,数栈帮助我们打通了全校18个操作系统,实现了全域数据资产的统一存储、管理和开发,面向业务统一数据出口与数据查询逻辑,完成了我们利用大数据提升学校运营管理效率,实现管理机制创新的预期目标。中山大学国网安徽基于数栈建设的数据应用共享平台,实现了全域数据的统一标准化、业务化、可视化,提升了国网安徽的运营和服务效率20%。国网安徽建设数字农村是实现乡村振兴的战略需求,借助数栈为我局打造的数字乡村大脑,实现了农业农村信息化资源的统一管理、组织,在资源利用率、减少行政支出、为宁波市区域发展提供科学依据支持等方
87、面获得了非常大的提升。宁波农业农村局对于我们这样每日客流量达到几十万的景区来说,数据体量非常大且分布散乱,一般的工具处理起来效率低下且数据利用率低,在与数栈的合作下,我们搭建了云数据中心,实现了以智能化的数据整合和分析方式,织就数据一张网,提升“数字景区”服务。西湖景区0808080808荣誉资质荣誉资质荣誉资质荣誉资质荣誉资质49 能力报告 信创兼容数栈V6.0产品白皮书一站式大数据基础软件 软件著作 发明专利数栈V6.0产品白皮书一站式大数据基础软件50能力报告能力报告能力报告能力报告能力报告信创兼容信创兼容信创兼容信创兼容信创兼容数据治理服务能力三级分布式系统保障性稳定能力三级长三角金融
88、信创适配验证测试信通院信创专项测试浪潮云操作系统兼容互认证银河麒麟操作系统兼容互认证瀚高数据库兼容互认证南大通用数据库兼容互认证华为云鲲鹏云服务兼容互认证飞腾芯片兼容互认证龙芯芯片兼容互认证阿里云ADB产品兼容互认证数栈V6.0产品白皮书一站式大数据基础软件51软件著作软件著作软件著作软件著作软件著作发明专利发明专利发明专利发明专利发明专利数栈-运维管家系统V1.0数栈-数据资产平台V4.0数栈-标签引擎平台V4.0数栈-实时开发平台V4.0一种基于Flink实现分布式实时同步SqlServer数据库的方法资源水位监测平台及方法、终端设备及可读存储介质一种基于akka框架的云原生日志收集方法和系统一种Trino catalog热加载方法和系统数据读取、写入方法及数据读取、写入系统一种支持多方案自定义web项目的构建方法及装置一种基于Flink的数据同步方法和系统一种交通监控数据匹配方法、系统及存储设备数栈V6.0产品白皮书一站式大数据基础软件服务客户5000+服务客户5000+服务客户5000+服务客户5000+服务客户5000+战略合作伙伴200+战略合作伙伴200+战略合作伙伴200+战略合作伙伴200+战略合作伙伴200+