6-2 银行业风险特征快速开发与部署的解决方案.pdf

《6-2 银行业风险特征快速开发与部署的解决方案.pdf》由会员分享，可在线阅读，更多相关《6-2 银行业风险特征快速开发与部署的解决方案.pdf（23页珍藏版）》请在三个皮匠报告上搜索。

1、风险特征管理解决方案姓名 唐庚阳|01踩过的雷踩过的雷在过往风险特征的加工和使用过程中遇到过的问题02解决方案解决方案1.0为了快速解决业务的痛点问题，简单搭建了一套管理方案03解决方案解决方案2.0系统化、体系化管理风险特征全生命周期04能否更好？能否更好？如何更高、更快、更强？目录目录 CONTENT|踩过的雷请在过往风险特征的加工和使用过程中遇到过的问题01|初识风控特征的整体环境|上线慢、难复用、无下线、缺监控|上线慢：分析与线上调用两套代码，改写时间长且容易偏差；难复用：Java表达式理解门槛高，人员迭代后特征逻辑理解困难；无下线：特征应用缺少可视化血缘视图，特征无法精准下线；缺监控

2、：特征数值缺少定期监控复盘，异常情况与偏移无法第一时间发现；代码差异性大，不同人对不同|需求评审会模型/策略人员离线数仓SQL或Python进行特征挖掘挖掘成果行程需求文档理解特征含义1、模型/策略人员不了解接口JSON报文2、变量开发人员对业务理解存在难度Java开发JSON基于报文开发特征代码打包部署1、Jar包对于策略和模型人员基本是黑盒2、变量逻辑变更的迭代周期较长特征图谱缺失，无标准下线流程|外部三方数据行内交易数据特征决策节点1模型评分决策树评分卡规则集决策节点2决策节点21、特征的被调用链路缺少清晰的可视化视图；2、特征到数据服务的对应关系无法直接读取；解决方案1.0为了快速解决

3、业务的痛点问题，简单搭建了一套管理方案02|统一数据解析，确保离线与实时同源同构|一套DDL，两种用法统一数据源，模型/策略人员与特征开发/部署人员所用数据结构一致；元信息一次变更，两个环境同时同步，减少信息同步误差；避免代码语言转化，减少定义理解偏差|全量解析转化，定期监测数据质量|监控指标指标定义特征调用情况类变量的总使用次数特征被调用的总次数，以一笔交易为统计单位查询平均时间上游系统发起调用请求，到获取到特征的总耗时，以特征服务为最小单位，单位为毫秒；缺失数量指特征被调起后，返回数值为-9999的个数，以一笔交易为统计单位；缺失率指特征缺失数量/该特征应当被调起的次数，以一笔交易为统计单

4、位；特征数值表现类类别数量通过统计该特征返回值存在多少不同类别，仅针对分箱、分段类的特征进行统计；占比最高值通过类别分类统计后，将统计情况按照统计值取最大的进行展示；单值集中度统计类别中占比最高值的统计数量/（有效的查询次数 缺失数量）；最大值指特征中最大的数值，仅针对明细数值类，或有大小含义的分类型特征进行统计；最小值指特征中最小的数值，仅针对明细数值类，或有大小含义的分类型特征进行统计；平均值指特征中返回数据的平均水平，仅针对明细数值类，或有大小含义的分类型特征进行统计；四分位数Q1又称“较小四分位数”，等于该特征中所有数值由小到大排列后第25%的具体数值；四分位数Q2又称“较小四分位数”

5、或“中位数”，等于该特征中所有数值由小到大排列后第50%的具体数值；四分位数Q3又称“较小四分位数”，等于该特征中所有数值由小到大排列后第75%的具体数值；PSI（Population Stability Index）计算公式为SUM(实际占比-预期占比）*ln(实际占比/预期占比)；1.0仍存在的问题|缺少统一管理平台：特征管理职能分散，使用仍然有一定的不便；异步加工+同步调用：存在变量尚未加工完毕，就会被调用的情况；异步交易，但TPS仍然受限：上游异步交易进行特征同步获取，流量激增时性能受限；解决方案2.0系统化、体系化管理风险特征全生命周期02|建设特征工厂，完成特征的全流程管理特征需求

6、统一收口，落地特征管理规范|同步调用改为异步调用，有效应对营销活动的流量激增|通过特征工厂的引入，将特征调用的方式从同步改为异步，在系统硬件有限的前提下，提升了整体交易的吞吐能力精细化特征加工与调用流程|能否更好？如何更高、更快、更强？04|回顾1.0、进行2.0、展望3.0|自动化：自动化生成特征SQL？业务人员通过圈选维度和指标后自动生成规范化SQL；智能化：创建特征与用户表现挂钩的评分体系，协助业务快速迭代特征；自助式特征开发，进一步降低特征使用门槛|SQL配置UDF注