A1--陈永健--从低码到智码华为ADC智码平台AI评测挑战与实践.pdf

1、从低码到智码，华为ADC智码平台AI评测挑战与实践陈永健华为GTS平台测试总工陈永健华为 GTS平台测试总工18年华为运营商领域软件测试经验，6级专家，目前主要负责华为运营商软件数智化转型与AI云原生平台开发测试，长期专注测试技术发展，在混沌工程（高可靠性测试）、生态兼容性测试、自动化测试、AI大模型评测、性能与仿真测试等领域有深入探索，支撑和保障全球300+运营商客户稳定运营。目录C O N T E N T S1.低码平台向AI智码平台转型下的测试挑战2.测什么：华为AI智码评测集构建思路3.怎么测：评测标准与体验一致性优化4.测得快：构建领域智码评测系统5.业务效果与下一步展望华为ADC低

2、码开发平台数智化转型测试挑战01从低码到智码，华为ADC应用开发平台ADC（Application Development Center）是一个面向业务开发者低代码、安全可信的全场景开发平台，具备完整的资产生命周期管理工具链，提供以业务资产为核心的高效复用的新开发模式。ADC：一体化编排应用开发平台低门槛/高效率可信安全生态开放企业场景生态伙伴低码开发应用智能运维智慧运营5G行业应用支撑多场景基于低码编排快速实现业务应用网络集成支持以图形化、类自然语言方式构造应用服务开放流程、界面、数据、AI等多种编排能力，所见即所得提供APP质量评估系统，保障APP高质量交付提供端到端可信工具链，轻松构建可

3、信APP资产支持多协议、多引擎，随心构建、极速集成扩展API集成图形编排，集成资产全面复用共享从低码到智码，应用开发者痛点学习资料多，高能耗集中开发者求助开销大从低码到智码，ADC Copilot-特性全景通过开发者调研，识别出应用开发编排活动中的高能耗点，基于大模型构建5大低码辅助（智码）功能模块ADC CopilotADC Copilot基础框架AI4UI属性生成页面生成样式生成AI4ModelTQL生成模型生成Excel2建模AI4Script脚本生成质量纠错脚本解释AI4Assist（问答）在线问答Welink问答反馈优化AI4Flow框架生成参数填充规则生成模型调度工具调度前处理后处

4、理任务分解程序验证意图识别语法解析与翻译自动纠错用户反馈领域知识检索Prompt生成LUI交互LLM执行运营日志智码评测挑战测试集构建痛点不同测试集分类，构建方法不一样；每一类测试集应该覆盖哪些维度；测试集规模和完备性如何确定和评估；测试集本身质量，如何评审评估优化评估标准痛点每一类测试集评估方法和标准不一样；评估标准如何构建，符合用户要求；评估标准如何落地，并进一步实现自动化验证效率痛点测试集规模大，人工测试效率底；不同测试集自动化测试方法不一样；如何实现快速对比多版本测试集结果差异性AI4Model自然语言建模Excel建模SQL生成SQL解释SQL检视模型级联服务页面生成模型属性约束推荐

5、模型测试数据生成AI4UI生成大屏图表批量调整大屏组件属性批量调整大屏组件布局批量调整大屏组件风格生成页面组件生成页面/大屏框架设计稿生成大屏/页面万能页面/大屏图表组件AI4ScriptPython函数服务辅助Pycharm插件服务JS辅助PC、大屏JS辅助终端JS辅助智能API检索脚本生成/解释/检视/技术问答AI4Flow（Workflow&Service）自然语言生成流程框架自然语言生成流程规则条件服务参数批量配置辅助生成服务TQL查询辅助生成流程环节辅助流程规则测试AI4Assist（知识问答）产品文档知识问答社区问答知识问答社区案例知识问答租户级私域知识导入Welink知识问答集成

6、知识问答智能组件模型界面UI代码流程知识问答产品知识、社区帖子、Python技术问答模型创建、模型修改调整流程创建、流程修改调整页面编排、大屏编排Python脚本、页面JS、服务Rhino JS、TQL知识规模、分类维度、完备性场景分类、完备性、复杂度流程分类、复杂度、完备性单组件/多组件（属性）组合爆炸代码场景库复杂度、完备性代码生成、代码解释、代码检视评测挑战如何有效评测智码辅助能力？如何建立高质量测评集？如何制定有效评价标准？如何高效完成测试执行？华为AI智码评测集构建思路02业界大模型相关评测调研基于数据集评估：斯坦福针HELM对语言模型的整体评估（特点：评估全面，工作量大）；中文大模