2019年.NET大数据实时计算.pdf

《2019年.NET大数据实时计算.pdf》由会员分享，可在线阅读，更多相关《2019年.NET大数据实时计算.pdf（19页珍藏版）》请在三个皮匠报告上搜索。

1、.NET Core 2019China.NET Conf 2019.NET大数据实时计算数据中通财报摘要显示，中通快递二季度业务量完成31.07亿件，同比增长46.8%，超出行业平均增速18.5个百分点。市场份额较上年同期提升2.5个百分点达19.9%。大数据来源China.NET Conf 2019目录计算平台架构项目实战CONTENTS目录背景介绍China.NET Conf 2019Part01背景介绍China.NET Conf 2019背景介绍 每天一亿多个包裹在路上，产生好几亿数据 末端时效管控，收件时间缩短，提升用户体验 由实时计算平台支撑营运管控系统 每天凌晨，外省大货车进入上

2、海 自动分拣，系统开始跟踪 网点合理安排车辆和人员 派件签收，系统实时反馈（10min）管理人员全网监控China.NET Conf 2019背景介绍 全国各地网点，存在地区性差异 系统参数需要不断调整，营运政策改变 计算平台按需重新计算 原始数据主要来自PDA、自动分拣机、狂扫等设备，以及手机APP 公司之间接口对接也会产生大量数据，如订单 还有其它一些中小型IoT物联网设备产生的数据China.NET Conf 2019Part02计算平台架构China.NET Conf 2019计算平台架构系统规模计算平台以调度系统为核心，40多台虚拟服务器作为计算节点，30多台虚拟服务器作为数据清洗和

3、数据服务，3组数据库（Oracle/MySql），9台Redis（共250实例）。共支撑70多个系统，700多个计算作业，年计算量万亿级。技术架构整个平台设计于2016年，基于2008年某金融公司数据处理思路，采用分片处理数据思想，我们自称蚂蚁算法，实际上就是MapReduce。系统基于.NET 4.5开发，在2018年初引入.NET Core来做数据清洗、数据服务和数据计算，几乎所有功能模块都同时编译.NET4.5/.NET Core版本，根据部署环境选用，CentOS占80%。数据流程各个终端产生的数据汇总后进入公司核心数据库，同时推送RocketMQ消息队列。频繁使用的核心数据，需要即时

4、消费MQ写入Redis，以获取高吞吐和低延迟。老系统数据在核心数据库中，可以通过备库按插入时间去抽取，写入Redis。各计算节点通过专门的RPC网关去Redis分批抽取数据，进行分割计算。China.NET Conf 2019分片实时计算调度系统缓存平台数据平台统计落库以较小时间片（如5秒）对原始数据进行分片，建立工作任务，多线程分批处理。分片调度对接各业务线数据库、消息队列，数据清洗，对外数据开放。内部数据通信微服务化。数据收集与开放全量扫描数据、订单数据，以单号为Key，压缩后写入Redis，有效期30天。以时间为Key，建立单号列表缓存运单/订单缓存统计数据在内存归并后批量落库；明细数据

5、经Redis缓冲后批量写入统计与明细China.NET Conf 2019计算平台数据规模Redis共有68亿Key运单16亿（单号KV）订单16亿（单号KV）业务25亿 List/Set冗余备份11亿总内存4T，已使用2T接入应用配置中心共接入系统模块188个活跃应用103个每日缓存调用量146亿次系统性能Redis日常17万ops平均延迟300us单点压测峰值222万opsRPC单点压测峰值2256万tps系统架构前中后三套系统分别偏移30秒/540秒/3600秒抽取扫描数据写入Redis，缓存30天，另有两套写备用Redis，缓存10天。*以上数据采样于2018年9月China.NET

6、Conf 2019数据统计模型China.NET Conf 2019开源项目 NewLife.Redis NewLife.RocketDB NewLife.XCode AntJobChina.NET Conf 2019Part03项目实战China.NET Conf 2019项目实战数据清洗 这是一个按照插入时间抽取数据的案例 每张表一个作业，按自己的结构写入Redis 偏移45秒很短，实时性好，但可能漏数据 冗余系统使用2小时偏移抽取，补缺补漏China.NET Conf