Serverless日志处理挑战与方案（17页）.pdf

1、简志（weibo:阿里云-简志）兴趣：数据处理、日志分析Serverless日志处理挑战与方案市场节奏卖方市场买方市场云对技术影响运维转向运营上线周期缩短数据改变运营收集百万用户行为实时提升游戏（投放、运营、活动）2012 2013 2014 2015成熟时间（从发布到饱和，累计下载）200周160周120周80周40周0周研发销量时间轴增长成熟衰退生命周期投放市场模仿者研发与运营挑战计算与日志演变LOGLOG渠道：容器,移动端,网页端来源：应用打点,用户访问,程序日志技术挑战多渠道、多维度、多种处理方法5KB/用户,100W在线,5GB数据量更快发现问题并解决预留成本、快速准备规模挑战数据量

2、大/实时性强运营、运维报表快速响应需求业务挑战一份数据，多个产出Serverless日志处理挑战阿里云日志服务LogHub采集消费LogSearch索引查询LogShipper投递Project-Logstore 日志库-Config 配置-MachineGroup 机器Project:example-projectLogstore:user-metricsLogstore(48 Hours Storage)Shard 1 0B0000,0FFFFF8754LG3921Logstore:transaction-logShard with RangeLogstime,time,time,Meta

3、-IP-Source-TagsLogGroup日志采集原理新应用部署应用层日志处理+增加消费端Docker环境日志采集Server1Server2Server3执行环境+服务器扩容Config 日志路径机器组-应用部署Logstore-LogHub-LogSearch-LogShipperStdout日志1.开通日志服务2.配置stdout文件日志（Prefered）1.Logstore2.日志路径Docker环境日志采集无特殊配置(99.9%)18171615141321Shard 3Shard 4Clerk AClerk CClerk B弹性伸缩能力8765439Shard 28769Sh

4、ard 1Shard 0离线仓库OSSMaxComputeOTS日志在线、离线对接LogShipper4356789Data StorageOSS、TableStoreE-MapReduce MaxCompute-Spark Streaming-Storm/Jstorm-Consumer Library-SDK实时计算8 7 65 4 39LogHub实时收集LogStore大规模（PB级）稳定，可靠免费实时索引日志数据，大吞吐量便捷、海量查询能力日志索引与查询AccessType:2 CheckPermission_for_Request:Action:odps:Read,Principal

5、:1323431815622349,Resource:acs:odps:*:projects/apsara_profiling/instances/20130314120906826gauva5,acs:CurrentTime:2013-03-14T12:09:17Z,acs:SecureTransport:false,acs:SourceIp:10.242.68.20,acs:UserAgent:aliyun-sdk-java,odps:CurrentProject:apsara_profiling,odps:TaskType:DEFAULT Context_ID:71a959c0-2ddd

6、-4da7-be70-fd080b6b6900 ObjectCreator:1323431815622349 ProjectOwner:1323431815622349-03-14 20:25:22 10.242.89.70 Enter:HandleNewInstance InstanceId:20130314122522714gdgwa5Project:apsara_profiling RequestId:5141C1B22B1BF51D09000004 User:1323431815622349-03-14 2