1、DataFunSummit2023阿里云EMR STARROCKS 产品化实践演讲人:李咸海-阿里云-研发工程师 EMR StarRocks 简介 可观测性 增量计算 总结EMR整体架构硬件资源ECS(Intel,AMD,倚天)/神龙/ECI调度资源EMR on ECSEMR on ACKEMR Serverless存储资源OSS-HDFS(Powered by JindoData)分析场景新版。
2、聚水潭云原生OLAP架构最佳实践演讲人:溪竹、星毛目录业务介绍数仓架构OLAP最佳实践未来展望Contents01 业务介绍业务介绍 聚水潭 聚水潭成立于2014年,以电商SaaS ERP切入市场,凭借出色的产品和服务,快速获得市场领先地位。发展至今,聚水潭已对接300+线上平台渠道,累计服务商家超过100W+。2020双11季全网处理订单总量达8.52亿,全国每发出5-6个包裹中就有1个来自聚。
3、诺亚财富金融数字化转型中诺亚财富金融数字化转型中OLAPOLAP的探索和实践的探索和实践演讲人:李欣 诺亚财富 数仓总监目录目录诺亚财富挑战和选型业务案例最佳实践C Contentsontents01 01 诺亚财富诺亚财富诺亚财富(纽交所代码:NOAH,港交所代码:6686)诺亚控股有限公司以“诺亚财富”为品牌,源起于中国,是首家在港美两地上市的中国独立财富管理机构,开创了财富管理和资产管理的。
4、DataFunSummit#2023Doris Bitmap精确去重优化实践魏翔-美团-OLAP引擎开发工程师01精确去重简介02Bitmap 聚合性能优化03结合Doris向量化引擎优化04优化效果与总结目录 CONTENTDataFunSummit#202301精确去重简介DataFunSummit#202301精确去重简介去重计算场景与业界解决方案MPP架构两阶段聚合Roaring Bit。
5、实时物化视图:加速大规模时间序列数据查询的利器炎凰数据 彭江涛2023.06.101目录为什么01是什么02怎么做0304展望和总结2引言https:/ 预先计算出常用的耗时或复杂查询的结果集v 以便查询时能够快速访问和使用这些预先计算的结果OrderTimeItemIDOrderIDpricenumberT1ID1OID15002T2ID2OID23004T3ID3OID34007T4ID3O。
6、DataFunSummitDataFunSummit#20232023A Apache Doris pache Doris 优化器的优化器的未来未来周明宏SelectDB 高级研发工程师重塑重塑为什么我们要重做 Doris 优化器性能性能瓶颈瓶颈突破性能瓶颈的两个小故事优化的优化的本质本质以统一的视角重新理解优化的规则挑战挑战理论上很完美,但是。目录目录 CONTENTCONTENTDataFu。
7、DataFunSummit2023OLAP火山EMR的最佳实践演讲人:琚克俭-火山引擎-研发工程师EMREMR产品概述产品概述 EMR OLAP云原生 EMR OLAP客户案例分析 EMR OLAP未来规划DataFunSummit2023!#$%&()*+,-!#$%&%()使用EMR产品,延续开源架构技术栈,并协同开源大数据生态与火山生态%*+,-./0,12.1345678。
8、DataFunSummitDataFunSummit#20232023MatrixOneMatrixOne:HTAPHTAP数据库数据库中的中的OLAPOLAP设计设计龙冉 矩阵起源 研发工程师MatrixOne 简介矩阵起源是一家数据库创业公司,致力于打造开源超融合异构数据库MatrixOne,MatrixOne是一款面向未来的超融合异构云原生数据库管理系统。通过全新设计和研发的统一分布式数据。
9、张张 鑫鑫 北京奥星贝斯科技有限公司北京奥星贝斯科技有限公司 OceanBase 开源架构师从从TPTP到到APAPOceanBaseOceanBase OLAPOLAP 核心技术解析核心技术解析DataFunSummitDataFunSummit#20232023技术交流:钉钉 332540540101 OceanBase 简介0202 SQL 并行执行0404 行列混合存储引擎0505 资源。
10、DataFunSummit2023Impala在数据湖中的性能优化黄权隆-Cloudera-Staff Software EngineerImpala与数据湖Iceberg相关优化Codegen优化未来展望DataFunSummit2023Impala与数据湖数据湖概览 SQL查询引擎,面向交互式查询场景 数据/元数据都在外部存储上,无状态 MPP架构,内存计算,C+内核 Open Storag。
11、ClickHouse高可用实践演讲人:贺钰城 联想 开源优化架构师目录生产制造企业的数据现状clickhouse集群架构clickhouse数据集成问题clickhouse查询并发性能的提升Contents01 生产制造企业的数据现状生产制造企业数据库使用现状1、业务系统分散采用了不同的关系型数据库2、现有大数据平台处理能力T+13、数据量不断积累,关系型数据库无法满足需求谜一样的数据流向迷一样。
12、?3?2?0?,?,?SQL?MaxCompute?/?/?/?MaxCompute?582200122151619Reduce InputReduce Input After Dynamic Parallelism191010?。
13、DataFunSummitDataFunSummit#20232023货拉拉大数据货拉拉大数据DorisDoris稳定性稳定性保障实践保障实践杨秋吉-货拉拉-OLAP负责人梁健聪-货拉拉-大数据工程师背景与挑战稳定性能力保障稳定性流程规范总结与规划目录目录 CONTENTCONTENTDataFunSummitDataFunSummit#202320230101背景与挑战货拉拉介绍货拉拉介绍36。
14、DataFunSummit2023演讲人:刘建波-腾梭科技-研发总监 数据需求的产生 OLAP选型困扰 Apache Doris实践 业务场景落地产品演进1、互联网网贷业务2、助贷+联合贷导流3、纯自营业务II)、技术架构单体应用-分布式应用-微服务 I)、业务架构网贷-联合贷-新零售 OLAP选型困扰1、生态复杂且门槛高、技术劝退2、投入产出比极低、成本劝退1、诉求:需要的不是大数据平台,而是。
15、DataFunSummit#2023京东One-Service数据服务体系建设周慧通-京东集团-技术研发与数据中心01 昨天02 今天03 明天04 致谢目录CONTENTDataFunSummit#202301昨天数据服务发展需求驱动烟囱式满足业务场景解决业务痛点第一阶段第二阶段第三阶段主题服务以主题为系统边界各司其职主题化定义驱动生产数据资产一体化平台One-Service服务一体化主题化服。
16、37手游量子智能广告系统基于云原生Olap的应用实践演讲人:徐玉立 37互娱 数据架构师目录业务背景量子系统建设实践37手游OLAP演进未来展望Contents01 37手游的业务背景公司介绍 全球TOP20上市游戏企业,2022年营业收入164.06亿元,境内业务收入104.12亿元,境外业务收入59.94亿元(同比增长25.47%)。公司介绍 迄今为止,37手游累计运营逾2000款手机游戏,。
17、混合存储架构中的数据编排Saiguang|Alluxio内容列表数据访问的主要命题1243Alluxio最佳适用场景Alluxio的缓存加速、命名空间、接口转换基于Alluxio的数据管理5基于Alluxio的数据联邦数据访问的主要命题data localityHDFS RBFhdfs-fusedistcp单一分布式系统多系统,多中心内存,L1/L2缓存文件系统命名空间Virtual FileS。
18、DataFunSummit#2023StarRocks 物化视图:助数据湖分析王欢明-StarRocks-程师01StarRocks 数据湖分析02StarRocks 物化视图03MV for LakeHouse04总结展望录 CONTENTDataFunSummit#202301StarRocks 数据湖分析StarRocks 3.0 OverviewRealtime IngestionBat。
19、DataFunSummit#2023ByConity对ClickHouse的存算分离实践-字节跳动-资深研发程师01ByConity研发背景02ByConity介绍03ByConity存算分离设计04ByConity存算分离优化录 CONTENTDataFunSummit#202301ByConity研发背景ClickHouse架构Shared-nothing+MPP架构 Shard&R。
20、DataFunSummit#2023海量数据下的OLAP引擎实战余志鹏-蚂蚁集团-级技术专家我介绍余志鹏(花名百恼),蚂蚁年兵2013 2018年,阿速卖通(Aliexpress),主要负责营销平台、卡券平台、积分平台的建设2018 Now,蚂蚁数据DeepInsight性能负责01为什么需要通过ADM来解决OLAP场景下表性能问题02通过Cube解决OLAP场景下报表性能问题03通过采样解决O。
21、DataFunSummit2023天穹OLAP:实时湖仓融合架构实践演讲人:程广旭-腾讯-高级工程师为什么需要湖仓融合湖仓融合新架构未来展望及规划DataFunSummit2023为什么需要湖仓融合实时数仓 VS 数据湖对比项对比项实时数仓实时数仓数据湖数据湖架构存算一体/存算分离存算分离计算引擎自带计算引擎,一般为MPP架构依赖第三方计算引擎,如:spark、presto等存储引擎一般集成写入。
22、DataFunSummitDataFunSummit#20232023小米集团基于小米集团基于Apache Apache DorisDoris的的OLAPOLAP实践实践魏祚小米集团-数据库内核研发工程师Apache Doris Committer&PMC系统选型及应用现状系统选型及应用现状小米数据生态中的小米数据生态中的DorisDoris小米用户行为分析实践小米用户行为分析实践未来规。
23、RaftKeeper:构建跨机房高可用OLAP集群演讲人:京东 吴建超 架构师目录项目简介功能和架构性能优化跨机房架构Contents01 项目简介项目背景lZookeeper引起的问题lRaftKeeper项目Zookeeper在OLAP中的角色:1.Meat data store:Table definition、Partition Info etc.2.Operation Log:Inse。
24、DataFunSummitDataFunSummit#20232023A Apache Doris pache Doris 实时查询实时查询分析分析李航宇SelectDB 数据库内核研发、Apache Doris Commiter架构演变Apache Doris Apache Doris 介绍介绍包括 Apache Doris 整体架构及存储引擎介绍Apache Doris 2.0 Apache。