1、Apache Pegasus的应用与实践王伟 小米 高级软件工程师讲师简介王伟高级软工程师高级软件工程师,KV存储团队负责人曾就职于百度、SHAREit,先后负责分布式Trace、表格存储、KV存储系统的研发。目前就职于小米,负责KV存储方向。专注于存储系统、性能优化等技术,对分布式、Trace、存储等技术领域有较深的技术积累,及丰富的存储系统实践经验。目录 项目介绍 实现原理 功能特性 应用实。
2、基于人工智能的数据库故障诊断技术李忠良+中兴通讯+高级系统架构师个人介绍李忠良 中兴通讯 高级系统架构师现任中兴AI算法团队技术负责人,先后研发了磁盘故障预测、数据库智能索引推荐、网络智能化等技术,对AI4DB有浓厚兴趣。秘密目录CONTENTSn技术背景技术背景nEBASE智能故障诊断方案智能故障诊断方案n分段式故障识别关键技术分段式故障识别关键技术n实验效果实验效果n未来工作未来工作Part。
3、本地服务领域接地气的智能语音机器人李忠 58同城 算法高级架构师 2012年硕士毕业于中科院研究生院,研究方向为模式识别与机器学习,先后就职于微策略、搜狗 58同城算法高级架构师 58同城TEG AI Lab 语义技术部负责人欢迎交流沟通语音语音识别识别语音语音分析分析智能智能写稿写稿智能智能问答问答语音语音对话对话CRMCRM智能智能化化58AILab58AILab公众号公众号 智能语音机器人。
4、作业帮数据库多云建设实践作业帮 DBA负责人 张恒岩公司介绍 作业帮教育科技(北京)有限公司成立于2015年,一直致力于用科技手段助力教育普惠,运用人工智能、大数据等前沿技术,为学生、老师、家长提供更高效的学习、教育解决方案以及智能硬件产品等。作业帮DBA团队 数据库运维:MySQL、Redis、TiDB、OB、ES、MongoDB、图数据库 运维平台开发:各种数据库的运维平台 数据库组件开发改。
5、数据库智能化运维与运维数字化转型白鳝 南京基石数据 CTO1.问题与挑战问题与挑战2.智能化与数字化智能化与数字化3.实现路径实现路径4.案例分享案例分享5.总结与展望总结与展望目目 录录CONTENTSIT部门数字化管理水平已经落后 流程数字化程度较低 日常工作数字化程度较低 数据集约化管理程度较低 知识数字化能力接近于0IT部门的数字化管理手段落后于业务部门是个不争的事实 数字化描述 数字化。
6、Amazon DynamoDB助力现代化应用程序李君亚马逊云科技数据库技术专家议题1.Amazon DynamoDB 简介2.Amazon DynamoDB 极致弹性和底层设计3.Amazon DynamoDB 设计最佳实践4.Amazon DynamoDB 全球部署与服务集成AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营Amazon DynamoDB 简介 202。
7、网易湖仓一体系统Arctic 的设计与实践周劲松-网易-平台开发专家网易数据开发现状与痛点1基于 Iceberg 的湖仓一体系统Arctic2案例与成果3未来规划4目录网易数据开发现状与痛点T+1 离线数据生产hivespark/hive原始数据数据源数据集市明细数据轻度汇聚sparkspark/hivespark/hiveimpala初步引入实时化Flink分钟/秒级HiveHive清洗聚合K。
8、云音乐实时数仓建设以及任务治理实践汪磊+网易云音乐+数据平台开发专家 云音乐实时相关业务现状和数据规模分区流表技术介绍 数据任务治理实践 未来规划音乐相关业务现状和规模用户量300+用户,覆盖数仓、数据产品、算法、分析师、QA、应用开发,服务音乐主站、心遇、直播等音乐所有业务线任务量1500+实时任务、80%+任务依赖实时数仓使用SQL开发业务类型覆盖数据仓库建设、数据报表开发、线上排行榜积分统。
9、中国大数据交易所数据交易的技术探索和应用模式梁福坤 京东数字城市群总架构师数据交易行业现状分析1国家战略方向4我们将提高开放水平,在全国推进实施跨境服务贸易负面清单,探索建设国家服务贸易创新发展示范区,我们将扩大合作空间,加大对共建“一带一路”国家服务业发展的支持,同世界共享中国技术发展成果;我们将加强服务领域规则建设,支持北京等地开展国际高水平自由贸易协定规则对接先行先试,打造数字贸易示范区。。
10、元数据驱动的快手数据治理平台建设实践张蕤 快手数据平台开发工具链负责人张蕤负责快手离线/实时数据开发平台、大规模工作流调度、异构数据同步平台主要关注大数据平台架构、大数据治理、大数据应用等方向快手数据平台开发工具链负责人讲师简介流量内容粘性3.634 亿日活用户数6.260 亿月活用户数129.3 分钟平均使用时长235 亿互关用户对数25%月活用户中内容创作者占比快手简介快手数据平台简介通过大。
11、B 站站 基于基于 Iceberg 湖仓一体优化实践及湖仓一体优化实践及智能化管理平台的助力智能化管理平台的助力向阿鲲/BILIBILI/OLAP 平台资深开发工程师未来规划未来规划智能化管理平台智能化管理平台 Magnus基于基于 Iceberg 湖仓一体内核优化湖仓一体内核优化湖仓一体项目在湖仓一体项目在 B 站站 OLAP 平台的落地实践平台的落地实践湖仓一体项目在湖仓一体项目在 B 站站。
12、快狗打车实时数仓演进之路杨铮 快狗打车 数据负责人订单用户运力流水业务线N端流量应用广告货的企业 业务复杂度高流量大应用场景多对实时数据需求多开发时长存在问题 业务背景1.以往的开发流程和实时计算历史开发流程历史实时计算2.从上云开始转变spark+多源存在诸多问题2019上云完成OneDataOneService2020智能化系列20223.解决痛点摆脱混乱开发,建设分层模型,数据重复利用。采。
13、快手大数据安全平台建设与实践马玲玲 快手 大数据安全负责人自我介绍马玲玲快手大数据安全负责人主要关注大数据平台架构和大数据安全技术领域主要负责大数据安全平台的体系化建设工作关于快手致力于成为全球最痴迷于为客户创造价值的公司我们的使命是帮助人们发现所需、发挥所长,持续提升每个人独特的幸福感愿景以商品交易总额计全民短视频社区日活用户 3.63亿月活用户 6.26亿日均使用时长 129.3分钟关于快手。
14、CnosDB 2.0 云原生时序数据库郑博北京诺司时空科技有限公司CEO随着万物互联时代的发展,时序数据库成为了物联网行业的底层基础架构。传统的时序数据库因为时间线膨胀和数据采样频率提高,产生了比较大的系统瓶颈;同时,时序数据库在云原生环境上的部署与资源管理也成为企业面临的挑战。CnosDB 2.0 是一款云原生时序数据库,具有高可用、高性能、高压缩比的特点。本报告主要讲述在云原生时代时序数据库。
15、高性能时序数据库TDengine 云原生架构实践关胜亮TDengine 主要开发者涛思数据 联合创始人 技术 VP个人介绍个人介绍TDengine 的联合创始人和主要开发者,主导研发了开源云原生时序数据库 TDengine 1.0、2.0 到 3.0 的所有迭代版本。中国科学技术大学软件工程专业学士、中科院计算所计算机科学与技术专业硕士,先后就职于中科软、南瑞集团、360 等多家公司具有超过 1。
16、S Q L 优 化 技 术 的 挑 战 与 未 来浪潮开务数据库创新研究院院长让 数 据 库 会 思 考魏 可 伟01数据库优化回顾02优化技术面临的挑战03优化:Inside-out+Outside-in目录01数据库优化回顾什么是数据库查询优化 SQL 语言只描述要什么,不描述怎么做 查询优化技术为给定的查询(SQL)选择最高效的执行计划描述式语言我在首都机场;我要去浪潮大厦优化器工作原理基。
17、货拉拉大数据安全体系建设实践和思考王海华 货拉拉目录1背景和挑战大数据安全体系总结与思考232-1 大数据安全规范2-2 大数据安全能力建设2-3 大数据安全治理背景和挑战6+业务线352国内城市66万月活司机3+IDC20K+日均任务数1000+机器数10PB+存储量950万月活用户货拉拉介绍大数据基础平台基础层离线计算(Hive/Spark/Presto/.)实时计算(Flink)资源管理(。
18、Presto在B站性能优化郭建华+b站+研发工程师个人简介个人简介 20162020 携程大数据离线平台 2020至今 B站大数据离线平台 负责Presto计算引擎目录目录1.架构2.Presto集群现状3.Presto Local Cache4.Presto Index5.后续工作架构架构Presto集群现状集群现状 30W/天 20PB/天 1200+Worker 2 IDC/6 clust。
19、融合普惠的云数仓华为云GaussDB(DWS)3.0王传廷 华为云计算技术有限公司 技术专家数据仓库趋势:下一个十年,智慧数仓提供开放、融合、云化、实时、全场景分析描述型数仓探索型数仓运营型数仓智慧型数仓报表应用(T+1):固定查询灵活查询(T+0.x):分析师应用数智融合:BI+AI,数流、智流融合实时分析(T+0):实时运营/IOC集中式架构:100TB分布式架构:10PB云原生架构:存算分。
20、广告实时数仓建设实践刘翀 美团#1 广告实时数据介绍广告业务简介CRM系统投放系统财务系统计费系统营销系统运营系统C端用户广告平台B端广告主APP小程序商品/服务PC89%其他11%实时数据的应用价值实时数据可视化KPI实时看板广告投放看板营销策略优化监控和诊断KPI监控异动分析投放诊断算法智能决策智能出价智能创意#2 实时数仓开发规范实时数仓分层规范业务系统原始数据(binlog、kafka)。
21、FastDataFastData DLinkDLink 实时湖仓引实时湖仓引擎的架构设计与实践擎的架构设计与实践北京滴普科技有限公司FastData DLink PDT 总经理 冯森01 DLink 架构介绍目录02 DLink 核心功能03 DLink 落地实践04 DLink 未来规划DLinkDLink 架构介绍架构介绍湖仓一体平台演进趋势湖仓一体平台演进趋势TB 级几百TB级PB级数据类。
22、可计算存储在数据库应用场景的实践ScaleFlux 解决方案梅庆 数据存储产能增长跟不上数据的增长速度,数据存储成本在增加。单机 CPU 算力跟不上数据存储的增长速度,计算向专有设备转移。可计算存储诞生背景异构计算GPU/TPU智能加速互联网络SmartNICs/DPU网络带宽能力显著增加10 100-400Gb/s闪存Accelerated SSD存储性能和容量激增 2018年SNIA(存储和。
23、MySQLMySQL双中心构建的实战之路双中心构建的实战之路01姓名:张充02030405负责团队:数据库运维研发团队、运维研发团队项目接手时间:2021-03月就职公司:同程旅行双中心项目启动时间:2021前CO NT E NT双中心的独特性1为什么方案不能简单的套用分享路线如何开展2我在面对双中心项目需求,所使用的方法论如何验收3在什么阶段,怎么去验收双中心未来计划4双中心不是一蹴而就,是需。
24、百亿级分布式文件系统百亿级分布式文件系统FastCFSFastCFS架构与实现架构与实现余余 庆庆FastDFS&FastCFS创始人自我介绍自我介绍 分布式文件系统 FastDFS&FastCFS 作者 曾任职于新浪、雅虎中国和阿里巴巴 对分布式架构和高性能编程有着深入的研究和丰富的实践经验为什么要研发为什么要研发FastCFSFastCFS?几款开源分布式文件系统:Glust。
25、Cloud Bigtable在广告技术中的使用郭斌 Google Cloud 架构师What is Cloud BigtableCloud Bigtable is a petabyte-scale,fully managed NoSQL database service for use cases where low latency random data access,scalability 。
26、Dive Deep Into TiDBs Columnar Storage Engine万 PingCAPTiDB IntroductionTiDBis an open-source NewSQL database that supports HTAP workloads.It is MySQL compatible and features horizontal scalability,str。
27、AnalyticDB MySQL高性能存储引擎张浩然 阿里云 高级技术专家AnalyticDB MySQL:采用云原生技术架构,高度兼容MySQL协议。数据源RDBMS/NoSQL/Log/Hadoop数据存储计算AnalyticDB(ADB MySQL)云原生敏捷仓库数据应用QuickBITableauQlikViewRedashFineBIApp数据管理数据开发/数据调度DMSDataWor。
28、一站式数据库上云最佳实践王林平阿里云高级解决方案架构师数据库上云路径和核心价值 上云利器DTS 数据库上云 实时分析上云 混合云灾备 混合云双活 备份上云上云路径 高效使用数据库 问题诊断优化 批量智能运维 稳定性和安全 高可用容灾 HA优化用云 Auto-scaling 云数据库降本PolarDB ServerlessAnalyticDB湖仓版PolarDB4AI智能算法 数据库上云愿景用好云。
29、数字化时代MySQL数据归档系统建设思路与实践冯光普 多点DMALL数据库团队负责人大事小做,大事变成小事小事大做,则小事变成大事陶行知1.DBA面临的归档挑战:安全、效率、成本2.归档存储选型、成本分析、如何利用云原生优势3.归档工具/平台建设实践,面向研发自助交付4.对数据冷热分离技术未来展望Contents多点DMALL数据团队负责人MySQL、TiDB、Redis、MongoDB数据库平。
30、多region分布式数据库方案与实践赵飞祥赵飞祥Airwallex空中云汇 数据架构师曾就职于太极计算机、北京竞技世界网络技术有限公司、斗鱼等企业。Oracle 10g OCP,11g OCM,Oracle YEP年轻专家。喜爱技术总结和分享、多次行业会议和沙龙演讲嘉宾、IT Pub博客专家。2010年开始从事数据库相关运维、架构、开发工作,涉足postgresql、mysql、Oracle、g。
31、开务数据库自治平台架构解析及应用分享开务数据库 高级软件研发工程师冯 友 旭目目 录录CONTENTSCONTENTS01开务数据库自治平台02开务数据库自治平台的参考架构03开务数据库自治平台的设计部署04开务数据库自治实践目录01开务数据库自治平台 SQL 执行缓慢 数据热点问题 资源分配不均匀 数据库系统不熟悉 参数配置过多 慢 SQL 分析 数据分布优化 弹性扩展和控制 用户画像 数据库。
32、分布式知识图谱管理技术介绍,彭鹏湖南大学 信息科学与工程学院 副教授,背景介绍集群式系统联邦型系统总结,目录,3,背景介绍,Part 1,4,RDF 简介,5,资源描述框架(Resource Description Framework),它是一种被广泛用于知识库的数据模型所有东西都是唯一命名的资源可以定义资源的属性可以定义与其他资源的关系,dbpedia:Zayed_Khan,dbpedia:n。
33、20000节点数仓集群在大型商业银行的落地实践建信金科基础技术中心 陈晓新目录010102020303基于龙趺MPP的超大规模数据仓库建设龙趺MPP技术架构和带来的应用革新基于龙趺MPP的大数据未来技术展望龙趺MPP DB新一代云原生数据仓库产品金山云其他数据库、存储等合作公司超高的查询性能标准SQL支持完善的生态系统无限的计算存储能力动态伸缩故障自动恢复计算和存储分离一份数据全局使用超高资源利。
34、面向资效平衡的机器学习平台的演进高会军+小红书云原生负责人大纲 背景 解决方案 成果展示 未来规划背景Inspire Lives,分享和发现世界的精彩每天百亿次笔记曝光超过2亿月活国内优选的生活分享社区背景遇到的问题背景MLOps发展趋势MLOps+FinOpsCI/CD 流水线自动化ML 流水线自动化自动构建、测试新的pipeline组件并将其部署在目标环境成熟度级别2成熟度级别1资效平衡成熟。
35、分布式缓存架构及实践经验分享中国工商银行 分布式缓存团队技术负责人 武文斌平台能力介绍应用实践未来规划1234目 录CATALOG01分布式缓存建设背景和目标已使用缓存服务的应用,针对缓存服务,缺少统一的管控视图、监控系统和治理方案。使用缓存业务场景繁多,应用自行搭建缓存服务工作量大。缓存产品种类多,各应用选型不统一,需进行统一治理。Redis客户端种类繁多,应用使用方式各异,存在安全隐患。Re。
36、百度智能云高性能KV数据库设计与实践刘东辉百度资深研发工程师关于我2013年毕业于南开大学,毕业后加入微博基础架构组,先后负责微博Redis、CounterService、CacheService、Redrocks等基础组件的设计与开发工作。2020年加入百度基础架构部,担任Redis方向内核技术负责人,主要负责Redis和KV数据库PegaDB的设计与开发工作Apache Kvrocks(in。
37、云海统一存储平台架构与实践京东科技 京东云事业群存储架构师 郑静|云海统一存储平台架构介绍云海架构与实践存算分离实践云海统一存储平台是什么京东全自研分布式存储系统,高性能,高可靠,低成本,深度软硬件一体加速,协议互通阿里云盘古分布式存储云海统一存储平台云海统一存储平台架构鲲鹏Arm 信创服务器云海存储一体机云海分布式存储引擎飞腾Arm 信创服务器HDDSSDTAPEHDDSSDTAPEHDDSS。
38、字节跳动图数据库架构演进索引和执行优化陈超 字节跳动 研发工程师简介架构关键问题1.1 ByteGraph 可以做什么 字节有哪些业务数据呢?用户信息、用户关系内容(视频、文章、广告等)用户和内容联系(点赞、评论、转发、点击)使用图表达业务场景的优势建模直观简洁挖掘数据关联 ByteGraph 特点高吞吐低延迟最终一致兼容 GremlinByteGraph 学术论文已被 VLDB-2022 收录。
39、海量异构数据,在线业务存储架构演进与实践KG沈剑关于-我“架构师之路”作者,深夜写写技术文章ex百度-高级工程师ex58同城-高级架构师,技术委员会主席,技术学院优秀讲师快狗打车(原58速运)CTO订单各自为战,存在什么问题?订单数据仓库如何统一建设?订单业务对账,风控如何统一处理?大数据量、高并发量、高可用、订单技术体系如何统一建设?举例:-用户订单列表如何实现?-沟通关闭JOB如何实现?-默。
40、关于我关于我AboutMe罗春 沃趣科技在阿里巴巴上班,做一名DBA在沃趣科技创业,做一名杂役在沃趣科技再再创业,做一名大大杂役大数据MPP界的黑马 ClickHouseClickBench跑分表ClickHouse趋势图https:/主机1-分片0-副本1主机0-分片0-副本0异步复制主机3-分片1-副本1主机2-分片1-副本0异步复制主机5-分片2-副本1主机4-分片2-副本0异步复制主机7。
41、虎牙基于图数据库的应用元数据平台实践邹磊邹磊/虎牙直播虎牙直播虎牙在实时内容创作与直播互动技术领域持续创新,推动直播平台多元发展虎牙在实时内容创作与直播互动技术领域持续创新,推动直播平台多元发展目 录1.1.项目背景项目背景2.2.方案选型方案选型3.3.系统架构系统架构4.4.业务实践业务实践5.5.未来展望未来展望一一.项目背景项目背景-痛点痛点数据割裂可视化产品应用资源应用标签痛点一一.项。
42、云数据库发展的未来-无服务器数据库Amazon Aurora Serverless解析马丽丽数据库解决方案架构师亚马逊云科技提纲 现代应用需要Serverless数据库 Aurora Serverless数据库介绍 Serverless数据库的应用场景现代应用需要Serverless数据库现代化应用的特征现代应用程序的特点商业效益可扩展至数百万用户提高投资回报率降低总拥有成本全球可用提高开发人员。
43、蚂蚁大规模图计算系统TuGraph洪春涛 蚂蚁集团 图数据库负责人图是对事物的一种自然抽象公司信息表雇佣关系表项目信息表员工信息表好友关系表参项关系表好友受雇受雇受雇项目X员工C公司2员工A员工B公司1员工D员工E员工F图更擅长处理复杂关系公司信息表雇佣关系表项目信息表员工信息表好友关系表参项关系表好友受雇受雇受雇项目X员工C公司2员工A员工B公司1员工D员工E员工F业务查询需求关系数据库表达图。
44、Apache Doris在日志存储与分析场景的实践肖康 SelectDB 联合创始人Apache Doris 基本介绍01IntroductionApache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。基于此,Apache Doris。
45、“碳达峰、碳中和”目标是党中央的重大战略决策,意味着我国的能源转型进入了新的阶段挑战与机遇新能源在发电、用电、传输各环节系统的不确定性显著增加,需要能源装备快速从传统机电装备向数字化电子装备转变,需要5G、智能传感物联网、人工智能、区块链、云计算、大数据、边缘计算等各种信息技术数字化赋能能源物联网,以数据和算法为核心生产要素,全方位实现能源产业从实物资产向数字资产的转化。目 录CONTENTS智。
46、金融分布式数据库的应用与实践林林 春春太平洋保险数智研究院首席数据库专家QQ:1819442969支付宝APP微信云闪付F5/LVSF5/LVS高可用APPAPPAPPAPP.应用分布式应用负载均衡支付宝APP微信云闪付F5/LVSF5/LVS高可用APPAPPAPPAPP.应用分布式应用负载均衡业务数据业务_1业务_2业务_4业务_3业务数据 N业务数据 3业务数据 2业务数据 1分布式事务数。
47、美团存储云原生探索和实践杨立明+美团+架构师云原生简述云原生技术使组织能够在新式动态环境(如公有云、私有云和混合云)中构建和运行可缩放的应用程序。容器、服务网格、微服务、不可变基础结构和声明性 API 便是此方法的范例。这些技术实现了可复原、可管理且可观察的松散耦合系统。它们与强大的自动化相结合,使工程师能够在尽量减少工作量的情况下,以可预测的方式频繁地进行具有重大影响力的更改。-“云原生计算基。
48、融合时序数据库在云原生可观测领域的实践高洪涛 Tetrate高洪涛。可观测性一览存储方案RUM假说01020304BanyanDB可观测性一览可观测性三柱石可观测性数据特点更多的数据类型存储方案主流存储方案TimeScaleElasticsearch大容量实时聚合成熟度Time SeriesRUM假说RUM空间RUM假说upper boundhard lowerRUM类型的系统specializ。