第四章 大数据实时流处理场景化解决方案.pdf

1、版权所有 2019 华为技术有限公司 大数据实时流处理场景化解决方案 第2页版权所有 2019 华为技术有限公司 前言 随着互联网的进一步发展，信息浏览、搜索、电子商务、互联网产品等将生活中的 数据流通环节在线化，让我们处在一个数据爆发式增长的时代。而信息的交互和沟 通正在从点对点往信息链甚至信息网的方向发展，这样的背景下，企业想要尽快获 取数据的价值，进而对数据的实时处理有了更高的要求。 第3页版权所有 2019 华为技术有限公司 目录 1. 大数据实时流处理概述 2.实时处理技术框架介绍 Flume Kafka Flink Structured Streaming Redis 3.大数据实

2、时流处理项目实战 第4页版权所有 2019 华为技术有限公司 什么是数据实时处理？ 数据从生成-实时采集-实时缓存存储-实时计算-实时落地-实时展示-实时 分析。这一个流程线下来，处理数据的速度在秒级甚至毫秒级。 数据实时采集 ETL、脚本 缓存队列 Kafka、MQ 实时计算 Flink、Spark 实时落地 数据库 实时展示 数据可视化 实时分析 BI报表 第5页版权所有 2019 华为技术有限公司 实时数据处理意义 通过大数据处理获取数据的价值，但是数据的价值是恒定不变的吗？显然不是，一 些数据在业务发生后不久就有了很高的价值，而且这种价值会随着时间的推移而迅 速减少，所以数据的处理速度

3、变得尤为重要，实时处理的关键意义在于能够更快地 提供数据洞察。 第6页版权所有 2019 华为技术有限公司 5 数据迁移 1 离线处理2实时流处理 3 交互查询4 实时检索 外部数据（文件/流式） 应用 数据库 Hadoop ETL 6 数据容灾 备份存储 大数据平台 备份 主备/HA 实时处理解决方案与其它解决方案的关系 第7页版权所有 2019 华为技术有限公司 流计算平台 办案人员 通信系统 火车数据 存储数据库服务器 航班数据 数据库服务器 酒店数据 数据库服务器 存储存储 网吧数据 数据库服务器存储 运营商数据 前置数据库存储 前置数据库服务器 数据交换平台 数据采集人员管理客户端结构化流式采集视频/图片流式采集 流数据 分析 算法 缓存服务器 数据 文件 视频网（卡口、监控） 缓存服务器 视频 图片 标准化流式采集 任务执行 数据结果存储 布控应用 界面通知展示 任务编辑/监控