Kafka用于流式传输、Redis用于在线服务、Iceberg用于离线归档、向量数据库用于语义检索——能力不断叠加,却从未真正收敛。“多系统税”正在成为实时基础设施最大的隐性成本。Apache Fluss提供了一种根本不同的设计:一个流式优先、湖仓原生的列式存储底座,将事件传输、KV服务、列式分析与AI上下文收敛到统一存储之上,让“同步问题”不再需要解决。
实时基础设施的演进困境
五段演进路径与多系统税的形成
企业实时基础设施的演进往往遵循相似路径:流式写入与CDC引入Kafka;流式分析引入Flink;实时数据处理与复杂事件处理暴露有状态Flink的脆弱性;实时机器学习与特征工程形成训练-服务偏差;实时AI系统与上下文工程引入会话记忆、实体记忆与向量知识库。每增加一类需求就增加一道一致性边界,最终形成多系统堆叠。多系统税的核心代价是工程投入不是在打磨模型上,而是在维护各系统之间的数据一致性上。
实时智能的六项基础设施需求
事件写入、快速KV服务、流式特征、历史存储、语义层、审计追踪——如果单一存储层能原生提供这六项能力,同步问题就不需要解决。这正是Apache Fluss的设计出发点。
Apache Fluss的核心架构
集群即一个逻辑系统
Fluss集群由CoordinatorServer(协调层)、TabletServer(数据面,可水平扩展)、元数据存储三层组成。客户端获取路由元数据后直接与TabletServer交互,协调节点不参与数据路径。TabletServer管理一组Bucket,每个Bucket的Leader副本同时维护日志存储(仅追加的日志段)和KV存储(RocksDB LSM树,仅主键表具备)。
两种表,同一存储底座
日志表存储不可变的、按Offset有序的事件流,默认Arrow列式格式使服务端可执行列投影与谓词下推。主键表是流/表对偶的体现:同一份数据同时以Changelog(事实源)和每主键最新行的KV视图(物化形式)两种形式暴露。写入到达时,两种视图在Leader上同步前进,以强一致性维护。主键表支持first_row、versioned、aggregation三种合并引擎。
三级存储与状态外置
三级存储,同一底座
Tier 1热层(本地实时写入)、Tier 2 Fluss原生远程(故障转移与训练读取)、Tier 3开放湖仓(Iceberg/Paimon/Lance,任何引擎可读)。分层服务将日志归档至Tier 3,Union Read使查询自动跨越热冷边界,列裁剪、谓词下推与分区裁剪在每层分别生效。
状态外置——Flink无状态化
Fluss将状态外置到主键表,Flink作业简化为纯计算进程:恢复从分钟级降至秒级,弹性伸缩无需重新分配状态。Delta Join借助主键表实现无状态双流Join,基准测试显示CPU从106核降至14-16核,Checkpoint从90秒降至1秒。聚合合并引擎在Leader写入时执行读-改-写聚合,部分更新实现无需Join的数据打宽。
AI基础设施的新底座
消除训练-服务偏差与上下文存储
训练与服务从同一主键表读取(服务读当前KV状态,训练读时间点快照),训练-服务偏差从结构上消除。Fluss为LLM/Agent系统提供会话记忆(日志表)、实体记忆(主键表)、行为信号(聚合特征),向量记忆可配对Lance等引擎。虚拟表将同一物理表投影为多个逻辑视图,不复制状态。
点击阅读报告原文:
最新报告
中英对照
全文搜索
报告精选
PDF上传翻译
多格式文档互转
入驻&报告售卖
会员权益
机构报告
券商研报
财报库
专题合集
英文报告
数据图表
会议报告
其他资源
新质生产力
DeepSeek
低空经济
大模型
AI Agent
AI Infra
具身智能
自动驾驶
宠物
银发经济
人形机器人
企业出海
算力
微短剧
薪酬
白皮书
创新药
行业分析
个股研究
年报财报
IPO招股书
会议纪要
宏观策略
政策法规
其他
人工智能
信息科技
互联网
消费经济
汽车交通
电商零售
传媒娱乐
医疗健康
投资金融
能源环境
地产建筑
传统产业
英文报告
其它
行业聚焦
芯片产业
热点概念
全球咨询智库
人工智能
500强
新质生产力
会议峰会
新能源汽车
企业年报
互联网
公司研究
行业综观
消费教育
科技通信
医药健康
人力资源
投资金融
汽车产业
物流地产
电子商务
传统产业
传媒营销
其它
十五五规划系列报告合集(共54套打包)
2026年宠物经济/它经济报告合集(共46套打包)
AI、科技与通信
广告、传媒与营销
消费、零售与支付
HR、文化与旅游
金融、保险与投资
能源、环境与工业
医疗制药与大健康
物流、地产与建筑
其他行业
AI ▪ 科技 ▪ 通信
数字化
金融财经
智能制造
电商传媒
地产建筑
医疗医学
能源化工
其他行业

收藏
下载
2026-07-20

AI查数
行业数据
政策法规
商业模式
产业链
竞争格局
市场规模
产业概述
自研数据
其它
2026年
AI读财报
年报
一季报
半年报
三季报
IPO招股书
社会责任报告
A股
IPO申报
港股
美股&全球
新三板
2026-07-28
信息技术
35页
15张图表
0731-84720580
商务合作:really158d
微信扫码登录
手机快捷登录
账号登录