1、光子工作室自动化研发测试管线及AI赋能实践之路文骁一腾讯光子工作室 专项测试团队负责人文骁一腾讯光子工作室 测试专家 专项测试团队负责人腾讯光子工作室自动化团队负责人,有多个千万级DAU手游的专项测试经验,先后负责DNF、全民突击、和平精英、英雄联盟手游的专项测试,拥有10年以上的游戏测开经验,2018开始负责搭建光子自动化研发测试管线,对游戏研效提升以及自动化技术在游戏领域的落地有较深理解。目录C O N T E N T S1.光子自动化研发测试管线2.自动化提效工具链建设3.自动化提效UE引擎跨版本录制回放4.AI在游戏测试中的应用光子自动化研发测试管线01背景介绍需求多精度高1.自研游戏
2、版本节奏快,敏捷开发多分支版本,日构建出包2.自研游戏玩法丰富开放大世界,FPS,SLG,MOBA3.重复性需求多全皮肤遍历,全枪械遍历,大世界玩法遍历,主线任务500+4.测试人力瓶颈需求转测速度 人力HC补充1.客户端性能测试对精度要求高测试数据帧率波动1帧内,内存波动20MB内2.同一个场景对比测试测试前置条件和步骤一致3.专项测试需求复杂去电池,免USB,跨平台光子自动化研发测试管线自动化研发测试管线AutoRobotSDK接入美术资源扫描性能热力图大世界场景扫描自动化性能冒烟自动化功能冒烟自动化专项测试.动画技能特效武器弹道任务项目初期项目研发期项目日构建转测项目早期接入自动化SDK
3、,和项目进行自动化接口评估,为自动化跑测做好基建研发测试左移,在项目资源批量制作阶段帮助项目提升研效每日冒烟保证项目转测内容能够正常测试;自动化专项测试节省测试人力自动化研发测试管线:测试数据加速研发流程支持多引擎支持跨平台项目研发流程测试数据测试数据编辑器冒烟光子自动化研发测试管线自动化研发测试管线整体架构:底层可扩展插件式SDK测试工具链无缝衔接上层可视化操作平台私有云真机部署保证安全覆盖项目研发全周期光子自动化研发测试管线大世界场景扫描l 开放世界游戏场景很大,以和平精英为例尺寸达到 8km x 8km,人工测试难以全量覆盖l 开放世界物件非常多,开发过程中存在各种属性缺失和配置问题l
4、物件的摆放和物理碰撞盒设置不合理,穿模,浮空,空气墙等问题,通过人工跑图很难遍历光子自动化研发测试管线美术资源扫描:l 美术资源丰富,要求品质高l 美术制作周期流程长,制作流程不规范l 美术资源超标是引起性能问题主要原因之一目的:在游戏资源制作阶段提前发现可能存在的性能问题游戏贴图尺寸超标光子自动化研发测试管线性能热力图:目的:在研发阶段对游戏整体性能进行摸底,提前发现场景性能热点问题l 对场景进行网格划分l 通过自动化跑图收集引擎性能数据 FPS,CPU,GPU,FrameTime,RenderDataDrawcall,Mask,Translument PrimitiveDetailFoli
5、age、StaticMesh、Landscape MemoryDetailBinned、RHI、ShaderCode、PhysX、RenderTarget、Texture、IndexBuffer、VertexBufferl 性能问题在Web进行展示,对比,查询光子自动化研发测试管线自动化研发测试实验室:光子自动化测试实验室,配备自主设计机柜和独立网络,目前已经具备200+设备,覆盖高,中,低端主流厂商设备,平均每月帮助项目跑测50000+次为和平精英,PUBGM,金铲铲,英雄联盟手游,黎明觉醒等多个项目提供自动化跑测能力,帮助项目实现了性能/功能冒烟等多个专项,目前已累计自动化用例20000+
6、个,总跑测次数超百万,发现性能/功能缺陷 5000+目前已累计形成专利 6+流畅度检测设备自动化温控设备自动化功耗测试设备自动化机柜光子自动化研发测试管线自动化测试驱动开发自动化工具链配套自动化测试技术应用自动化提效自动化提效自动化测试场景游戏自动化测试技术栈:自动化测试管线自动化提效工具链建设02自动化提效工具链建设工具链建设AutoRobot SDK需求:1.需要解决角色寻路问题2.保证每次测试路径一致3.能精确控制镜头转向,人物操作等4.实时和游戏进行交互5.不需要频繁维护UI异常用例6.修改自动化逻辑不需要频繁出包挑战:1.如何实现多协议,支持多服务互通(C+/Lua)2.如何实现逻辑