《v2_DataFun0419-重新定义流计算-RisingWave云原生流数据库-PatrickHuang.pdf》由会员分享,可在线阅读,更多相关《v2_DataFun0419-重新定义流计算-RisingWave云原生流数据库-PatrickHuang.pdf(37页珍藏版)》请在三个皮匠报告上搜索。
1、重新定义流计算RisingWave云原生流数据库Patrick Huang|RisingWave Labs自我介自我介绍绍Patrick HuangTech Lead RisingWave Labs-DB Kernel&StorageEngineer Wechat Infra-Large-scale Online StorageEngineer LinkedIn Infra-Kafka&Next-gen Streaming PlatformDeveloper CMU DB Labs-Peloton DBMS23RisingWave云云 原原 生生 流流 数数 据据 库库4RisingWave云
2、云 原原 生生 流流 数数 据据 库库易用易用关系型模型SQL first结果和内部状态可查询兼容PostgreSQL(Wire Protocol、类型系统、权限系统、系统表、表达式等),熟悉Postgres即可无缝上手RisingWave同时支持各类数据库生态工具:DBeaver、Datagrip IDE、Metabase、Superset、Cube.js,Grafna等5RisingWave云云 原原 生生 流流 数数 据据 库库易用易用关系型模型SQL first(PostgreSQL)结果和内部状态可查询Quick Start(Linux/macOS)with RisingWave S
3、tandalone:curl https:/ psql-h localhost-p 4566-d dev-U root6RisingWave云云 原原 生生 流流 数数 据据 库库可靠可靠持久化存储故障秒级恢复轻量级备份支持Serving与Streaming隔离正确正确秒级强一致Checkpoint单表跨表强一致读支持Table DML进行数据订正7RisingWave云云 原原 生生 流流 数数 据据 库库Streaming IngestionMQ:Kafka、Pulsar、RepandaCDC:Debezium、MySQL、PGS3文件、Apache Iceberg8RisingWave云
4、云 原原 生生 流流 数数 据据 库库Streaming Processing增量流式计算高效流算子状态管理秒级新鲜度9RisingWave云云 原原 生生 流流 数数 据据 库库Streaming SinkKafka、Pulsar、RepandaClickhouse、Starrocks、ES、RedisIceberg、Delta Lake10RisingWave云云 原原 生生 流流 数数 据据 库库使用使用场场景:景:Streaming ETL Streaming Ingestion +Streaming Processing +Streaming Sink11RisingWave云云 原
5、原 生生 流流 数数 据据 库库使用使用场场景:景:Streaming Analytics Streaming Ingestion +Streaming Processing +Serving12RisingWave云云 原原 生生 流流 数数 据据 库库云原生架构云原生架构存算分离多级分层缓存Severless Compaction弹性扩缩容云中立、支持多种Object Store私有化部署:HDFS、MinIO、DFS云上部署:S3、GCS、OSS、COS流数据流数据库库使用案例:使用案例:实时实时广告点广告点击击率分析(率分析(CTR)13流流数据数据库库使用案例:使用案例:实时实时广告
6、点广告点击击率分析(率分析(CTR)14流流数据数据库库使用案例:使用案例:实时实时广告点广告点击击率分析(率分析(CTR)15流流数据数据库库使用案例:使用案例:实时实时广告点广告点击击率分析(率分析(CTR)16流流数据数据库库使用案例:使用案例:实时实时广告点广告点击击率分析(率分析(CTR)17流数据流数据库库使用案例:使用案例:实时实时广告点广告点击击率分析(率分析(CTR)18RisingWave基基础础概念:概念:SOURCESource支持消费多种数据源:Kafka、Plusar、Kinses、S3消息Encoding支持:AVRO、JSON、PROTOBUF、CSV、BYTE