2017年Fintech场景下大数据处理的挑战与实践.pdf

《2017年Fintech场景下大数据处理的挑战与实践.pdf》由会员分享，可在线阅读，更多相关《2017年Fintech场景下大数据处理的挑战与实践.pdf（16页珍藏版）》请在三个皮匠报告上搜索。

1、Fintech场景下大数据处理的挑战与实践2AGENDA01我看互金这6年业务/获客方式的转变 用户数、交易数的激增 风控思维的转变02风控：传统金融 VS Fintech人 VS 机器 评分卡 VS 模型 从业人员skillset03技术团队面临的挑战数据量 计算复杂度 服务可靠性04经验&实践由一起线上事故说起 Kafka HBase 其它05再过三五年行业 政策 团队 技术?3业务/获客方式的转变?线下网点，业务人员地推插卡、陌拜、线下活动开设线下门店，配置业务人员 增加门店、提高人均产能 核心业务系统?电销电话外呼客户名单获取 扩大规模、提高名单质量、提升电销人员效率、优化外呼策略 C

2、RM?互联网方式渠道、合作、流量交换更偏向互联网获客模式，导流、引流、精准客户营销、投放 提高转化率、合作渠道数量与质量 中间件、系统群、云、大数据环境?4用户数、交易数的激增?201220132014201520162017Q3?第一单！第一千单！第一万单！?10亿！50亿！100亿！?新增50万用户/月，10亿/月5风控思维的转变?“本人”、“真实意愿”、“借款用途”、“还款意愿”、还款能力”01人工审核每一个客户电核、面审、实地，以确认用户填写的信息的真实性为主要依据结合联系人交叉验证02部分应用外部数据人工搜索开放数据一些行业内部黑名单，精准命中04自动化数据验真面部识别、身份证比对、

3、活体检测大量外围数据交叉验证将三方数据引入模型03对接专业三方数据主要用于信息验真三方数据公司的崛起05自动化审核直拒、直批+人工审核全自动化审核06“团伙识别”关系图谱6风控：传统金融 VS Fintech?人 VS 机器50件/人/天 VS 5000件/小时，全年无休 培训、初审、终定、质检 VS 只要没bug、机器够?评分卡 VS 模型feature有限，调整权重，谨慎 VS 大量数据维度&调整极快且“浪”半年一次迭代 VS 一周多次迭代&AB Test 套用规律、借鉴规律 VS 发现规律、验证规律、学习规律模型稳定、固化，模型不可识别的都为异常 VS 识别与模型的差异并进行非监督学习，

4、发现新的模型?从业人员skillset行业经验 VS 数据分析、挖掘能力 银行（信用卡、抵押贷）、小贷、保险相关从业经验 VS 机器学习、神经网络、AI 金融、统计相关专业 VS CS SAS、SQL、Excel VS Python、MR、Hive、Spark、R?7技术团队面临的挑战?数据量几百张表*几十列；百万行；二维，范式建模几十张表*几千列；千万行起；稀疏、维度建模+5TB/月（压缩后，40%）计算复杂度“在10000用户间建立单向关系网络”“在100万用户间建立双向关系图谱”“从短信中筛选特定关键字。样本不多，大概2000多万”“目前系统压力大，通知前线，压一下进件量”“系统需要加硬

5、盘，周末停机维护”24*365，SLA服务可靠性8系统架构演进“ABC”?“传统”互联网阶段关系型数据库DAS、SAN、NAS中间件系统集群，HA、LB?大数据阶段Hadoop生态集群NoSQL私有云?AI阶段混合云/公有云GPU，混合体系架构9“金融”互联网 VS“互联网”金融?Mongodb?RedishHBase?REST API?Kafka Stream?HDFSMR?Kafka?*Hive?Spark10一次线上事故Ka?a队列积压随着业务量的增加，Kafka队列的积压问题日益频繁且严峻。除了Kafka本身的运维优化外，通过监控发现网络架构问题，最终调整解决平时活动?线上参数调优Co

6、nsumer异步处理过时消息丢弃网络限流问题解决11Kafka100 MPS；95th消息大小：500KB；95th消息处理时长：0.7s；95th消息延迟：1.2s?Partition/Consumer规划Partition越多越好？Kafka借助partition提升并发能力Partition内消息有序，而partition间顺序无保障 Producer发送消息时注意partition倾斜（murmur2）Consumer数量略多于partition数量?消息压缩压缩协议：gzip、snappy、lz4？无压缩