小米集团：小米数据生产平台产品设计思考与实践（32页）.pdf

1、小米数据生产平台 产品设计思考与实践01 数据生命周期全流程介绍数据生命周期全流程介绍0203小米一站式数据生产平台的产品建设思路小米一站式数据生产平台的产品建设思路目录目录CONTENT技术驱动型产品的设计与协同经验方法论技术驱动型产品的设计与协同经验方法论01数据生产到应用的生命周期全流程介绍数据生产到应用的生命周期全流程介绍雨、江河湖海等自然产 生的、源源不断的水建堤修坝、水库水渠，将自然水分流收 集、存储净化、过滤、消毒、去污饮用、灌溉、生活产生收集存储处理应用举个栗数据全命周期流程数据生产链路线上（主要）：联的智能终 端，如机/电脑/表/电视等付/收藏/转发/播放/点 赞.各种功能操

2、作滑动/缩放/打开/关闭/拖 拽.各种点击或浏览为产生收集存储处理应用活中的各种为都在产着各种各样的数据线下：基于智能设备或终 端产逛店/运动/饮/乐.各 种线下活动拍照/录/绘画/连接/体 感.各种实体为数据的产产生收集存储处理应用数据的收集是将不同业务系统、终端、源头的数据实现互联互通线上为采集（端上）客户端：Web、Andorid、iOS、Windows服务端：志、消息线下为采集（物联）硬件联：Wi-Fi、传感器、摄像 头等等传统：问卷、登记 外部数据采集-爬；业务系统数据同步-跨源Mysql to Hive、异构MQ to Hive数据的收集活中，我们选择个存储物品的容器时，般会考虑哪

3、些因素？形状/样式/形态（/圆/固体/液体）规模（/数量）使场景（吃/穿/）成本（资/ROI）数据格式/结构数据/条数查询/扩展/并发存储/计算成本数据存储 容器的选 择也类似产生收集存储处理应用数据的收集根据数据的结构、规模、使场景、成本等信息，选择不同的数据存储介质存储类型举例关系数据库Oracle、MySql、SQL Sever、GreenplumNoSQL存储HBase、Redis、ES、MongoDB网络及消息队列Kafka、Talos、RMQ、Http文件系统HDFS、FTP、CSV、TXT、Excel大数据存储Hive、Iceberg、Hologres、Doris数据的存储产生收

4、集存储处理应用将汇聚后的原始、堆砌状态的数据进资产内容建设、加处理后使其产业务价值对数据抽取、转换、加 载（ETL），分层建设处理过程在各个环节对数据进清洗关键内容般分为离线开发、实 时开发、算法开发开发方式数据的处理产生收集存储处理应用将原始，混乱的数据转化为干净，新鲜和可靠的数据的，使其更易于使用，方便从中获取业务见解所有关系型数据库的公共 语；于存取数据以及 查询、更新和管理关系数 据库系统SQL：结构化的查询语句ETL：源端-抽取-转换-加载-目标数仓分层：归纳整理、化繁为简、减少 重复、提升效率数据的处理ETL提到“清洗”，如洗服般是在做什么？1、洗掉脏东2、去除多余3、补好缺漏4、

5、晒整理数据清洗的核：问题数据的补充、调整 冗余数据的查重、映射 数据的整理、统数据的处理清洗产生收集存储处理应用分类离线开发实时开发基本定义般是批处理，批量处理个范围内的数据般是流处理，数据如流般产点处理点时延性要求不，般周期很（天/周/年）毫秒/秒级延迟数据来源类型历史已存在的数据源源不断产的数据应场景数据分析、模型训练、排序索引等秒杀/抢购、实时数据看板等先存蓄起来，然后集中处理或批量于发热发电落下后直接进分流、去污，转 化河数据的处理离线实时的数据产平台架构多引擎存储多引擎存储离线实时计算离线实时计算分析运维与应分析运维与应统统数数 据采集与集成据采集与集成产生收集存储处理应用数据生产链

6、路底层引擎计算引擎存储引擎基础服务元数据权限调度器集成引擎核能数据管理治理中心资产目录数据地图安全中心数据质量02技术驱动型产品的技术驱动型产品的产品设计与研发协同方法论产品设计与研发协同方法论数据产平台 是技术驱动型 产品技术驱动型产品的核特征以技术为核竞争 强依赖技术架构的实现 技术创新为核导向 重性能和稳定性户以技术员为主 向技术员使 核作是写代码 详细的底层逻辑比抽象概括更有用可能，你的户你更懂底层技术逻辑技术型产品常问的个问题做桥梁做牵引，将擅 的向发挥极致从核要解决的问题与 产品定位出发产品如何凸显自己在 其中的作用如何衡量技术型产品 的产出