使用Apache Arrow助力构建数据系统.pdf

1、DataFunSummit#2023使用Apache Arrow助力构建数据系统李晨曦 炎凰数据 研发工程师01为什么要构建新的数据系统02使用Apache Arrow构建数据系统03什么是Apache Arrow为什么是Apache Arrow04一些Tips目录CONTENTDataFunSummit#202301为什么要构建新的数据系统One Size Fits All Or Not?HTAP流批一体NewSQLOLTP/OLAP批处理/流处理SQL/NoSQLVS数据库的黄金时代https:/dbdb.io/browse?start-min=2020为什么要构建一个新的数据系统？为什么

2、要构建一个新的数据系统？读时建模Schema On ReadSchema on Read读时建模技术在异构日志处理领域的实践为什么要构建一个新的数据系统？支持动态数据表模式的数据查询引擎SELECT*FROM my_eventset为什么要构建一个新的数据系统？支持动态数据表模式的数据查询引擎SELECT _datatype,http.url,http.method,url,method FROM my_eventset为什么要构建一个新的数据系统？支持动态模式的数据查询引擎SELECT_datatype,COALESCE(http.url,url)AS url,COALESCE(http.m

3、ethod,method)AS method FROMmy_eventset数据系统构建分解内存数据格式数据模型类型系统元数据管理内存中过滤、聚合、排序算子查询语言运算表达式持久化索引并发控制存储压缩优化及查询执行API查询计划标量函数时间类型资源管理物化视图优化器关联查询高级分析函数分布式执行子查询外存算子冷热分层算子向量化执行SSE/AVX/NEON数据交换跨平台运行x86/ARM窗口函数DataFunSummit#202302什么是为什么是Apache Arrow第一步内存数据格式数据模型类型系统元数据管理内存中过滤、聚合、排序算子查询语言运算表达式持久化索引并发控制存储压缩优化及查询执

4、行API查询计划标量函数时间类型资源管理物化视图优化器关联查询高级分析函数分布式执行子查询外存算子冷热分层算子向量化执行SSE/AVX/NEON数据交换跨平台运行x86/ARM窗口函数内存数据格式session_idtimestampipRow 114322023/10/23 10:44101.229.90.66Row 215782023/10/22 17:31220.181.108.17Row 315322023/10/23 08:0927.115.41.185Row 413982023/10/22 13:26118.31.77.1Row 114322023/10/23 10:44101.2

5、29.90.66Row 215782023/10/22 17:31220.181.108.17Row 315322023/10/23 08:0927.115.41.185Row 413982023/10/22 13:26118.31.77.1session_id1432157815321578timestamp2023/10/23 10:442023/10/22 17:312023/10/23 08:092023/10/22 13:26ip101.229.90.66220.181.108.1727.115.41.185118.31.77.1行式列式内存数据格式：列式存储session_idti

6、mestampipRow 114322023/10/23 10:44101.229.90.66Row 215782023/10/22 17:31220.181.108.17Row 315322023/10/23 08:0927.115.41.185Row 413982023/10/22 13:26118.31.77.1Row 114322023/10/23 10:44101.229.90.66Row 215782023/10/22 17:31220.181.108.17Row 315322023/10/23 08:0927.115.41.185Row 413982023/10/22 13:26