2018年小微金融业务跨平台数据共享与处理.pdf

1、小微金融业务跨平台数据共享与处理Clouder Lab云存储专场第三方支付业务的风控场景ServerlessFunctionCompute计算引擎互通LOG+OSS异构数据处理FunctionCompute风控存储与访问FunctionCompute+TableStore金融机构合作单位网络渠道对象存储函数计算表格存储对象存储数据湖存储大数据处理日志采集分析风控业务查询风控查询交易风控数据的海量存储与多种离线计算处理吴华剑 阿里云存储服务产品专家Clouder Lab云存储专场基于OSS的交易风控数据存储与处理推荐原因 文件数目、容量无限制 EB级的存储服务 11个9的可靠性设计 同城3AZ容

2、灾 跨区域复制、异地容灾 容量、性能横向扩展 Select支持查询条件下推交易记录日志记录 阿里云日志服务无缝集成 标准/低频/归档多种类型 生命周期管理自动转换 数据规模无缝扩展 稳定，高可用 同城、异地容灾能力 11个9的可靠性设计 计算存储分离，架构灵活 Hadoop原生支持OSS TCO成本更低 阿里云计算产品深度融合 弹性扩展，按量付费 容灾能力、强安全、高可靠 Select条件下推提升性能对象存储OSS阿里云分布式对象存储服务易用海量高可靠强安全低成本简单易用，REST API无缝与计算服务集成单个文件最大48.8TB文件数量无限制容量和处理能力弹性扩展多重冗余备份11个9的可靠性

3、设计RAM、加密等多层次安全防护跨区域复制、异地容灾机制总体TCO更低多种存储类型，优化存储生命周期成本在线服务LogHub数据通道移动设备数据源OSS无缝对接多种计算处理引擎OSS归档型OSS标准型Hadoop官方支持OSS海量非结构化半结构化数据对象存储OSSSparkSQLM-RHivePrestoDataLakeAnalyticsImpalaEMR函数计算MaxComputePig课程示例数据处理链路企业伙伴金融机构文件上传文件上传用户数据存储池交换、处理、归档中心存储池计算引擎管理员用户交易详情监管查询日志记录事件触发实时转换函数计算风控引擎对象存储OSS标准型归档型生命周期管理交互

4、式查询分析DataLakeAnalytics表格存储明细数据库风控数据库Spark SQLSpark大数据分析引擎MaxCompute日志服务交易文件交易明细表：trade_final*c_userid STRING COMMENT 用户ID，主键*d_dealdate STRING COMMENT 申请时间，主键c_businflag STRING COMMENT 业务代码,d_cdate STRING COMMENT 确认日期,d_date STRING COMMENT 申请日期,l_serialno STRING COMMENT 申请序号,c_agencyno STRING COMMEN

5、T 销售商编号,c_netno STRING COMMENT 网点编号,c_fundacco STRING COMMENT 基金账号,c_tradeacco STRING COMMENT 交易账号,c_fundcode STRING COMMENT 基金代码,c_sharetype STRING COMMENT 份额类别,f_confirmbalance DOUBLE COMMENT 确认金额,f_tradefare DOUBLE COMMENT 交易费,f_backfare DOUBLE COMMENT 后收手续费,f_otherfare1 DOUBLE COMMENT 其他费用1,c_re

6、mark STRING COMMENT 备注开户信息：userinfou_userid STRING COMMENT 用户ID,u_accountdate STRING COMMENT 开户时间,u_gender STRING COMMENT 性别,u_age INT COMMENT 年龄,u_risk_tolerance INT COMMENT 风险承受能力，1-10，10为最高级,u_city STRING COMMENT所在城市,u_job STRING COMMENT工作类别，A-K,u_income DOUBLE COMMENT年收入(万)MaxCompute处理OSS数据SQL查询