2017年苏宁物流在实时大数据的最佳实践.pdf

1、苏宁物流在实时大数据的最佳实践苏宁物流一、苏宁物流天眼系统介绍二、苏宁物流实时技术架构演进三、苏宁物流在实时大数据的最佳实践四、性能调优分析和经验总结苏宁物流物流天眼系统是苏宁物流集团面向物流及售后领域的实时数据监控、多维度数据分析和大数据服务的可视化平台。实现对物流订单的全链路异常实时跟踪，物流作业的全网实时监控，仓储作业和车辆运输的实时监控。苏宁物流天眼系统简介苏宁物流物流订单全链路异常实时监控仓库出货易购下单系 统有单无货作业延迟商品破损多货少货料箱短缺商品串码卸货人力不足开箱少货开箱破损跨区配送车辆不足货未到齐.系统堵单网络异常接口不通验证失败系统宕机装箱不及时错派漏派装车不及时包装破

2、损出站不及时入站不及时月台资源不足.全流流程异常环节中转运输配送销单天眼系统全程实时监控22个系统及作业环节141个场景异常作 业物流作业的全网实时监控苏宁物流苏宁物流和天天快递当日订单量实时展示苏宁物流车辆线路的实时监控苏宁物流天眼系统实施效果全网妥投率相比上线前上升20%作业异常比例下降2.8%。客诉率下降0.5%苏宁物流物流天眼系统整合了物流过程中的订单、仓储、运输、配送、售后等全流程的业务数据，随着苏宁易购线上订单的急速增长，如何高效的处理和分析大量复杂的物流业务数据并进行实时监控和分析？大数据实时监控和分析如何实现？苏宁物流一、苏宁物流天眼系统介绍二、苏宁物流实时技术架构演进三、苏宁

3、物流在实时大数据的最佳实践四、性能调优分析和经验总结苏宁物流苏宁物流实时技术架构演进1232015-20162017传统架构架构升级稳定快速Evolution of the technical architecture2012-2014苏宁物流1传统架构2014数据来源数据采集数据存储分析计算业务应用订单仓储运输配送售后RSF实时同步ESB MQHiveDB2IBM datastageDB2 sql苏宁物流实时报表苏宁售后实时报表Hql前台展示：Cognos增量存储hdfs苏宁物流离线报表苏宁售后离线报表大数据的服务苏宁物流sqoop数据来源数据采集数据存储分析计算业务应用订单仓库运输配送售后

4、RSFESBKAFKAFLUME HbaseDB2ElasticSearchredissparkSpark streaming苏宁物流实时报表苏宁售后实时报表Flink天天快递实时报表售后自动化派工实时包裹推荐pgsql22015架构升级（去IOE）数据来源数据采集数据存储分析计算业务应用订单仓库运输配送售后RSF同步ESB MQHiveDB2datastageDB2 sql苏宁物流实时报表苏宁售后实时报表天天快递实时报表售后自动化派工实时包裹推荐Hql前台展示：Cognos Echartspostgresqlhbasespark streamingSpark sqlkafkaflumered

5、is苏宁物流32017稳定快速（新）业务源系统flumekafkaSpark streming或flink离线数据实时数据hdfshivehbaseESDruidredisHive任务离线应用离线报表数据分析实时应用实时报表实时预测实时挖掘Spark任务FTPDB数据交换sqoop（旧）业务源系统Hbase底表ESB/RSF实时计算Pgsql苏宁物流一、苏宁物流天眼系统介绍二、苏宁物流实时技术架构演进三、苏宁物流在实时大数据的最佳实践四、性能调优分析和经验总结苏宁物流苏宁物流在实时大数据的最佳实践全网实时监控报表的整体迁移（架构升级）物流订单双11大促实时监控天天快递数据实时查询下载实时箱包推

6、荐1234苏宁物流全网实时监控报表的整体迁移（架构升级）实时频率从2小时提升到1分钟大数据的处理能力上百张报表的同时迁移稳定性和扩展性高实现目标实现目标实现前提实现前提迁移成本要低实现周期要短苏宁物流全网实时监控报表的整体迁移-业务模块划分展示数据接入Spark Streaming 指标统计Spark Streaming 数据清理和整合KAFKAHbase订单状态处理流订单路由处理流订单明细处理流销售配送作业跟踪DPA退货单作业跟踪DPA调拨单作业跟踪DPAredisDB2全网妥投率监控仓库发货监控运输车辆准点监控分拨出入站监控快递妥投率监控作业异常处理流作业异常处理跟踪DPA各环节作业量监控