OLAP平台引擎演进实践

1、在线服务平台,主要有四大业务,二手房交易,新房交易,租赁业务以及装修业务,四大业务运营将产生大量实时和离线数据,这对数据分析和查询带来了巨大的挑战,原有OLAP查询平台革新升级迫在眉睫,我们团队结合贝壳业务数据特点,选择ApacheDrui。

2、景商品合规知识产权天眼安防内容安全阿里云绿网图像分类目标检测OCR相似特征视频分析视频指纹人脸识别动作识别语音分析文本分类相似特征实体识别媒体服务Insight模型平台Quake搜索平台ANN,调度平台Fission关键词淘宝天猫优酷饿了么。

3、介绍一,智能钛机器学习平台介绍钛,是一种轻量级,高强度的金属,也是制造钢铁侠飞行战衣的材料,在人工智能快速发展的今天,智能钛机器学习平台,作为腾讯战略发展,的重要组成部分,致力于让广大用户拥有如钛,一般轻量级,高水准的体验,致力于为开发者提。

4、手工打包放在上,测试,通过连接服务器,测试,上传包到服务器,测试,杀死之前进程,测试,启动项目,运维,根据包手工发版手工操作时期手工操作时期,工作方式工作方式厂商项目变多应用变多仅打包部署节点自动化程度低手工操作时期,遇到的问题厂商半自动化。

5、在感受,如外观,内饰,整体服务,而京津冀人群对实际使用体验的要求更高如乘坐舒适,空间以及安全性,进入221年以来,以府来,小鹏,理想为代表的新势力品牌表现持续瞩目,月度销量持续刷新纪录,产品力的整体提升以及品牌口碑的逐步建立,使得新势力四厂。

6、长期课题,调度效率,资源利用率资源池,多个独立资源池统一的大资源池业务类型,单一作业平台在离线作业混部技术栈,自建底层技术栈拥抱云原生底座云原生批量计算面临的关键挑战作业管理缺失调度策略局限级别调度,无法感知上层应用缺少作业概念,缺少完善的。

7、云梯阿里巴巴第一代开源大数据平台第一个集群上线达到千台规模迁移完成跨机房集群架构上线集群规模,架构上线大数据上云以及实时化演进云上大数据平台中小企业对开源大数据技术需求激增大数据分析对集群算力有较大的要求云计算天然就是提供弹性计算能力,年离。

8、计算引擎,实时计算,在线预测服务,一键部署高性能蓝绿部署弹性扩缩基础硬件,阿里云容器服务,可视化建模,近种组件数十个场景化模版拖拽构建实验百亿特征样本交互式建模,大数据引擎深度结合多框架兼容自定义智能标注图像,视频,文本,语音标注多场景模板。

9、日志按照所属页面分片分片包含独立的日志和数据三副本存储存储池最小物理分配单元,传输日志到存储节点,持久化日志,通知客户端日志完成持久化,回放日志到数据页面,持久化新版本页面,回收日志和页面,备机通过日志更新页面存储按照日志划分页面的多个版本。

10、在线关系型分布式在线关系型数据仓库无共享无共享,集群数据交互总线,协调节点,业务访问入口,每个节点对等,对外提供一致视图,数据节点,业务数据存储节点,事务管理器,全局事务管理器,协调集群集群事务,并管理全局对象指标监控运维管理实时告警安全审。

11、ataReplication,ReAirUnifiedStreamingandBatchProcessing,AirStreamAgenda13B35PB1400,WarehouseSizeEventsCollectedMachinesHa。

12、一资源调度平台,虚拟化,业务指标监控告警日报系统多维查询数据开放运营平台运营工具云控系统内存网络厂商通道单机性能优化,关键环节单机性能优化,操作系统,配置部分配置类型配置项值系统打开文件资源限制,进程打开文件句柄限制,监听个数限制,内核分配。

13、划任务监控短信邮件报警域名及证书安全扫描S1S31S2,AFQTW数据分析R,0深度学习无服务器计算用户画像推送推广特征分析数据工厂数据通道虚机缓存数据库网络带宽01N参考架构手机,智能硬件应用引擎服务器应用服务器应用服务器应用监控报警日志。

14、平台中国领先的社交媒体平台优质用户普通用户优质内容关注内容理解微博用户体量大算法模型多样化用户间关系纷杂微博内容体量大特征维度巨大业务场景多样性特征类别多业务场景复杂近百亿级别特征维度近万亿级别样本量高频访问微博内容数据多样,文本,图片,音。

15、实时作业数,平台架构团队规模小而精干底层数据架构,开发和查询平台,运维数据分析,日常维护支持新技术调研落地,成长的烦恼,成长的烦恼,有什么,运维,系统规模不断扩大系统繁多,复杂性高开源系统开源是把,双刃剑,快速构建起相应的系统随着系统规模的。

16、nalyticalProcessing,联机分析处理,主要应用于大规模数据分析及统计计算,为决策提供数据支持,OLAP数据库引擎贯穿于数据时代发展的3个阶段,无论在哪一阶段,当企业需要积累数据并进行数据分析时,就会面临OLAP数据库引擎的选。

17、点和挑战信息发布随意性商品库存唯一性买卖时效敏感性分享提纲C2C,feed,石器时代粗粒度个性化推荐问题,青铜时代细粒度多维度个性化推荐主要改进,CF,效果,转化率共提升78,工业革命I实时推荐系统主要改进,CF,效果,转化率共提升89,还。

18、辅,优酷广告业务特点售卖方式,CPM,CPC,CPD,等,以CPM为主定向方式,用户,地区,人群标签等,内容,视频组,视频时长,频道,关键字,清晰度等,客户端,设备类型,操作系统,客户端类型,版本号等,共数十种定向方式频控方式,整周期N次频。

19、百亿数据量CDN智能调度检测播放质量监控数据探索和问题排查多媒体质量分析业务背景每天数百亿数据量数千对比指标上千Ab实验几十万次查询调用100毫秒级查询时延ABTestOLAP平台技术选型业务需求重要度超大数据规模,单数据源每日100亿,消。

20、异地容灾过载保护功能矩阵功能矩阵同步DNS接入方式接入方式异步业务形态业务形态StandaloneMicroServiceRouter老板说,我们要支持产业互联网,一切看来很美好,直到,一切看来很美好,直到,存在较多遗留系统单点故障比较敏感。

21、群在线服务消息中间件LOG集群1,日志收集与传输的本地缓存2,面向重要的实时消费与数据处理离线集群1,日志的最终汇聚点,数据dump到Hadoop集群2,面向次重要的实时消费与数据处理集群拆分,服务质量保障规模日处理消息数4万亿,日消息峰值。

22、SSQL下推Alias转Inde,AliasAlias1Alias2Alias3Inde,AInde,BESPGPGTableAPGTableBPGTableSQLLogicalPlanPGOptimizerSQL日期格式转换字段类型转换A。

23、年下实时流计算平台规模化接入腾讯内部业务,覆盖所有,与外部客户并上线公有云年上完善场景化服务,上线在线,同时发力批处理,打造赋赋能能腾腾讯讯实实时时计计算算在在腾腾讯讯实实时时计计算算的的规规模模集群总核数万峰值算力,亿日均消息量近万亿目前。

24、状分析,1,在线天然利用率不足,只有离线,在线统一规划集群才能充分利用资源2,通过实施在离线混部,提升利用率,减少离线,在线服务器采购成本资源利用率现状目录一,背景,为什么要做混部二,方案,混部架构和核心技术三,展望,收益和未来展望定义1。

25、etes,8W,10,5PB,1,DaemonSetorSidecar,DaemonSet,PASS,SidecarDaemonSetSidecar,2,appdatalogsSidecar,40,40GBSSD5W,2PBSSD,3,M。

26、数据超过1TB省级气象观测数据,每月超过2亿条省级生态红线数据单个要素节点数超过100万个某市测绘院遥感影像数据累计超过3PB基础测绘数据,DLG,DRG,DOM,DEM专题测绘数据,国土,农业,林业,环保等行业地理数据影像数据,卫星,航飞。

27、lityreproducibilityaccuracyfailuretransparencyresilienceadaptabilityfault,toleranceresponsivenessadministrabilityfidelit。

28、itectureScreamingArchitecture,BDD,GeorgeFairbanks,Pattern,orientedSoftwareArchitecture,VS,VSDDD,VS,Softwarereuseismoreli。

29、务逻辑相互影响痛点,并行开发难度大垂直拆分,按业务拆分多个服务水平拆分,交易内做分层处理方案,服务拆分V1,0个性化需求个性化交易链路和MVP需求无法快速响应需求系统间耦合严重痛点交易链路模板化切面机制,定制个性化链路方案V1,0痛苦反思野。

30、估值2,5亿美元,投资方主要有IDG,高瓴资本,君联资本,贝塔斯曼中国,晨兴创投以及中国领先的金融数据服务企业万得咨询跟投,WhatisBDP,快速打造贴合业务的一站式数据平台灵活易用完整闭环数据驱动管理提升经营绩效海致BDP发展历程201。

31、充分利用数据库的计算能力,例如,架构数据库数据库计算存储解析改写路由分布式事务拓展拓展高可用数据脱敏可观察性弹性伸缩理解,解析处理,改写,规则规则理解方案优点缺点第一代解析引擎支持多数据库解析效率较高新旧版本不兼容解析引擎无法自主可控第二代。

32、团队技术栈,科学量化合理业务对数据产稳定性的诉求,持续提升系统迭代演进的客观衡量标准保障的盾,主要盾,速增的业务诉求有限增的平台算,次要盾,平台算与服务复杂性服务运维管理能我们的定义,核数据产出时间基础户属性,活跃情况,订单集成,数据就绪率。

33、alingEC2WebServerEBSRootVolumeEBSDataVolumeWebTierPrivatesubnetELBforWebloadbalancewithHTTPHCApplicationLoadBalancerwith。

34、群在线服务消息中间件LOG集群1,日志收集与传输的本地缓存2,面向重要的实时消费与数据处理离线集群1,日志的最终汇聚点,数据dump到Hadoop集群2,面向次重要的实时消费与数据处理集群拆分,服务质量保障规模日处理消息数4万亿,日消息峰值。

35、配套扩容接入层,涉及连接关系梳理,实施方案,变更方案,IP地址分配,路由发布入网,监控系统录入,切换演练,机柜扩容IDC建设出品链路带宽扩容,运营商核查资源,新增合作伙伴专线接入专线建设,带宽扩容业务系统故障,网络设备故障,网络质量异常,出。

36、背景用户用户行为行为用户用户使用使用用户用户触网触网14大标准场景6大标准场景10大标准场景多场景订阅数据延迟小于5分钟数据完整性至少一次数据准确性95,平台要求手机号码发生时间LACCILACCIIMEIIMEIIMSIIMSI电子围栏选。

37、务短视频创作及分享全球免费通信工具大数据平台数据流转百纳接入接入数据接入数据接入数据计算数据计算存储任务入口查询实时任务入口资源管理元数据管理消息队列离线存储监控告警数据输出数据输出实时监控即席查询实时报表数据应用数据应用实时推荐存在的问题。

38、di电商视频商业化风控湖仓一体机器学习多维分析CDC应用规模2000,作业数50wCPU核6亿秒峰值处理31,7万亿日处理条数2容错能力提升容错能力综述1单点恢复黑名单,涵盖多种场景的拉黑策略,支持任意多个taskfail原地恢复,确保lo。

39、的设计目标现状整体设计目录,近期规划,设计目标数据源多数据源多数据源多达百种,版本间不兼容,且不断有新的出现简单易用的,分布式可扩展的支持超数据级的简单易用的,分布式可扩展的支持超数据级的吞吐低延时的数据集成平台,吞吐低延时的数据集成平台。

40、挑战与融合分析引擎解决方案,0123,4,56789,4,OneFeABC,D,EFGHICalciteJ3,KLMNOOneSQLP,QR4,STUVLogical,Physical融合分析引擎OneFrontend,多源融合前端,融合分。

41、智能大脑对环境敏锐感知和准确响应超越人类的专业知识储备和更新速度扩展人的边界扩展人的边界7,24小时在线跨屏服务,APP,小程序,大屏,外表,肢体语音,交互行为高度拟人化外表,肢体语音,交互行为高度拟人化自然有风格的形象丰富细腻的表情动作人。

42、机器数,存储量,日均任务数,业务线货拉拉货拉拉,大数据大数据,大数据大数据基础平台基础平台基础基础层层离线计算实时计算资源管理大数据存储计算基础元数据,实时数据接入埋点数据接入数据对账数据链路监控离线数据接入数据数据接入接入平台平台接入接入。

43、从计算能力,查询性能,架构简洁性,可扩展性,稳定性,可维护性等维度考虑选型平台与数仓,外部表外部表外部表混合混合查询平台查询平台统计逻辑视图,可选,统计逻辑视图层日志流经过,的数据建模,数据在数据仓库经过一些列操作,最终层数据推送到查询层。

44、Push,Webhook,WechatWebhookApp,pushSMSWebhook,3,SLA,C,SLA,Action,去,SaaS,1,1,2,3,的,1,2,2,e,press,webe,press,directore,pres。

45、商业场景渗透,释放更广泛的社会价值释放更广泛的社会价值,第次调查报告,截至年月,我国网络网络视频用户规模达视频用户规模达,亿亿,较年月增长万,占网民整体的,随着短视频平台,互动娱乐直播平台的快速发展,以及随着短视频平台,互动娱乐直播平台的快。

46、nalyticalProcessing,联机分析处理,主要应用于大规模数据分析及统计计算,为决策提供数据支持,OLAP数据库引擎贯穿于数据时代发展的3个阶段,无论在哪一阶段,当企业需要积累数据并进行数据分析时,就会面临OLAP数据库引擎的选。