2019年人工智能和大数据系统在电子竞技数据处理平台中的应用.pdf

《2019年人工智能和大数据系统在电子竞技数据处理平台中的应用.pdf》由会员分享，可在线阅读，更多相关《2019年人工智能和大数据系统在电子竞技数据处理平台中的应用.pdf（39页珍藏版）》请在三个皮匠报告上搜索。

1、Agenda不再是小孩子的游戏-电子竞技的发展和IT技术的助力电子竞技和传统竞技体育的区别Distributed System for Esports-分布式数据处理Big Data for Esports-海量数据存储AI for Esports-基于OCR与机器学习的数据识别和挖掘电竞发展支撑数据与案例(参考)2015年:移动电竞用户（中国）1.96亿2016年9月：LOL全球月活1亿2016年LPL全年观赛累计人次50亿腾讯电竞：2017年全球电竞用户3.35亿2018年5月7日电竞项目入选亚运会不再是小孩子的游戏电子竞技的发展和IT技术的助力不再是小孩子的游戏电子竞技的发展和IT技术的

2、助力2008 2016电竞2.0直播平台RTS-MOBA/FPS,职业化2017 现在电竞3.0观赏性专业性、数据驱动1998 2007电竞1.0蛮荒对战平台,赛事,俱乐部不再是小孩子的游戏电子竞技的发展和IT技术的助力赛前分析赛中局势赛后总结选手能力筛选玩家状态分析比赛复盘不再是小孩子的游戏电子竞技的发展和IT技术的助力灵活相对于传统体育，电子竞技的数据可以有更快、更方便的获取方式，减少了人工，能支持更多自动化。丰富电子竞技是依托于游戏的，而游戏内的发生的各种事件，都是可以被详细记录，时间维度可以精确到秒。数据体量电竞数据的量级与竞技体育相比也不可同日而语。电子竞技和传统竞技体育的区别电子竞

3、技和传统竞技体育的区别电竞数据的采集方式开发接口开发接口1.Steam 官方提供DOTA22.蓝洞官方PUBG接口开发接口厂商对接1.游戏厂商自己选择和第三方数据商做合作2.上报数据，第三方消费处理并提供公开接口OCR识别1.录像/直播画面的截取2.数据与事件识别逆向工程1.基于客户端请求协议2.基于本地的元数据文件3.基于客户端代码电子竞技和传统竞技体育的区别电竞数据的量级每局游戏的数据都可以记录与分析与传统竞技体育不同，游戏数据是通过游戏服务器产生的，天生存在数据收集的优势，每局游戏的数据都可以被存储、分析，当打游戏的人越来越多时，产生的数据量级是相当可观的，在我们的实践中，Dota2 每

4、天有接近100万场左右，而自走棋每天也有接近50万场左右的数据单局游戏数据的丰富性游戏中的每个细节都会被记录，比如选手在游戏中的走位、操作、技能释放等，我们可以解析出关心的各种数据点，来分析各个维度下选手及整个团队的表现数据处理的量级和一般的数据处理的场景相比，电竞游戏数据中的处理会需要处理多维数据，比如玩家维度、团队维度、英雄维度、道具维度、阵容维度等，每个维度下需要统计伤害、团战、走位、出装、以及游戏策略等Distributed System for Esports 分布式数据处理01Big Data for Esports海量数据存储02AI for Esports基于OCR与机器学习的

5、数据识别和挖掘03FunData大数据系统ETL层接口层（缓存层）数据处理层存储层通用FunData大数据系统架构FunData大数据系统：ETL层FunData ETL范式FunData ETL(DOTA2)FunData大数据系统：ETL层全球链路高可用灰度基于Kubernetes的弹性API系统架构FunData大数据系统：接口层（缓存层）基于Serverless框架的数据处理和计算镜像预热：根据访问量和节点负载扩容镜像淘汰：LRU以及镜像功能被删除时资源隔离：基于Docker以及Docker所使用的cgroup节点调度：准实时负载以及再调度动态路由：动态生成RESTful APIFun

6、Data大数据系统：数据处理层新旧数据处理架构对比提高资源利用率：在线业务的访问低谷期间的资源利用，临时性资源的申请资源的虚拟化：使用者不必关心系统中的资源数量，只需要专注于功能逻辑的实现提供大量耗时的计算能力FunData大数据系统：数据处理层基于Serverless框架的数据处理和提取游戏数据量随时间存在突刺，热门时间（大赛/节假日）比赛数量激增，原来基于VM的方式处理数据会导致大量数据处理任务堆积，系统压力飙升，部分处理任务超时，不得不人工接入进行扩容。改为Serverless架构，收到新的数据后，由Serverless调度器随机分配一个Worker启动对应的算法容器进行数据处理与提取H