京东科技-孟祥涛-实时风险洞察的架构演进与思考(1).pdf

《京东科技-孟祥涛-实时风险洞察的架构演进与思考(1).pdf》由会员分享，可在线阅读，更多相关《京东科技-孟祥涛-实时风险洞察的架构演进与思考(1).pdf（23页珍藏版）》请在三个皮匠报告上搜索。

1、DataFunSummit#2023实时风险洞察的架构演进与思考孟祥涛-京东科技-架构师01实时风险洞察面临的挑战02实时风险洞察的架构演进03核心组件剖析04未来的思考与展望目录 CONTENTDataFunSummit#202301实时风险洞察面临的挑战数智化：数字化数智化：数字化+智能化智能化 风险识别、风险分析、风险监控、风险处置交易、营销、订单、注册登录、实名、设备指纹数据孤岛海量数据对 分析效率提出挑战海量数据挖掘数据价值，辅助业务决策数据驱动决策政策推进数据大爆发大营销快车占领市场先机管控风险高效运营风险管理的数智化转型12342 海量数据场景下的实时性与性能保证 实时预警，稳定

2、性、准确性 实时分析，多维即席分析，所见即所得 大促百万级tps 资源成本的考量3 智能算法赋能预警分析？实时对抗性：黑产攻击手法呈现出高对抗性和变异性 专家经验局限性：风险场景多、枚举成本高。专家阈值太低容易造成告警风暴，阈值太高容易漏警 分析效率低：预警触发需要手动研判风险 预警治理&优化：预警散落各地，缺少系统化治理、全局视角1 数据接入定制化多，如何通用化解决数据来源多样性数据标准化口径数据结构复杂数据复用度低实时风险洞察面临的挑战4如何构建通用的风险洞察架构，通用性高、高性能、高扩展 组件化：拆分多少组件 通用性扩展性：哪些关键地方需要扩展、如何扩展 性能与稳定性：查询性能、渲染性能

3、平台愿景风险实时监控预警与智能分析产品。提供快速的数据接入，助力业务构建全面的业务风险监控预警体系；提供异常检测算法自动感知业务指标波动异常，并通过归因算法快速定位分析异常波动原因。实时风险洞察平台DataFunSummit#202302实时风险洞察的架构演进产品技术解决方案架构设计方法论合适原则一切不按实际场景出发的架构设计都是耍流氓合适l匹配业务发展所处的当前阶段l充分结合业务实际的应用场景l考虑业务近1到2年的发展规模简单原则大道至简，简单的方案解决复杂问题简单l复杂逻辑拆分为多个单一执行单元l控制单元边界，控制好最小执行单元粒度l不做过度设计演化原则优秀架构一定是以业务不断发展而演进而

4、来演化l代码的可扩展性、设计模式l架构的可扩展性l可不断地在实际应用过程中迭代产品技术解决方案技术选型智能分析丰富可视化图表智能预警算法模型智能化分析能力34215OLAPAd Hoc实时计算效率成本质量低代码高扩展高并发高性能可视化、低代码、拖拉拽基础的：表格 柱图 线图 高阶：对比图，桑基图层级钻取，自定义计算字段准确性及时性稳定性实现路径拆解数据标准化富化、过滤、分发异常检测归因分析小投入高回报架构演进1.0简单灵活有余、扩展性不足数据接入预警指标数据看板决策明细Quarz调度ES集群风险监控预警风险数据分析整体架构：简单灵活有余、扩展性不足数据处理：数据接入、数据加工；硬编码计算架构：

5、计算性能、复杂计算存储架构：单一ES存储架构演进2.0平台化、组件化、插件化技术沉淀数仓管理计算引擎数据建模增强分析平台化：水平分层架构核心组件插件化低代码数据架构：配置化接入、插件化、函数化计算架构：内存计算、存算分离存储架构：插件化扩展问题：数据架构：基于明细查询分析，效率低，复用低百万级TPS入库、计算性能规模越来越大，治理越来越难预警架构：风险场景多、枚举成本高。严重依赖专家经验，优化调整成本高架构升级面临的挑战架构演进3.0实时数仓、智能算法事件总线事件总线决策交易营销登录数据源数据源算法服务算法服务异常检测归因分析聚类关联关系大数据平台统一元数据全链路血缘RODSRDWM注册登录交

6、易策略设备地址RDWS通用主题活动主题设备主题场景主题营销主题用户主题渠道主题信用主题活动用户设备命中策略RDIM维表FlinkMQ数据建模数据建模数据集Sql引擎条件表达式函数表达式风险洞察风险洞察智能预警智能分析行为分析风险感知策略分析群体分析数据服务数据服务指标平台数据APISqlSql建模建模JupyterCK类库封装算法算法建模建模connectorJoinSourceSourceStandardEnrichTranformTranformFunctionScriptconnectorSplitSinkSinkFilterDataStream&