2023年软件研发应用大模型-国内现状调查报告.pdf

1、国内现状调查报告目 录01调查获得的一些结论02参与调查的基本情况03国内使用大模型的概况04在软件研发生命周期使用LLM05未来展望附录特别鸣谢01020408141516大模型正在成为人工智能的新范式，也助推了AIGC应用的新一波浪潮，由此掀起了软件研发领域的全新革命。大模型不仅可以提供强大的内容生成能力，还能够处理复杂的任务，为软件研发带来了巨大的潜力和机遇，将软件工程带入3.0时代。然而，目前国内对于大模型在软件研发中的应用现状尚未有系统性的了解和总结。所以有必要开展这方面的调查，帮助行业的从业者或企业的管理者，更加准确地了解我国软件研发领域对于大模型的需求和应用场景，为相关行业提供更

2、加精准的解决方案。为了推动我国软件研发领域的发展，作为软件研发行业的重要参与者AI+软件研发数字峰会（AiDD）组委会，联合软件质量报道、测试窝、异步社区、思否、稀土掘金等多个社区、组织发起2023年软件研发应用大模型国内现状调查。通过这次调查，旨在全面了解我国软件研发领域应用大模型的情况，探索大模型在软件研发中的优势和挑战，为进一步推动大模型技术的应用与发展提供有力的支持和指导。2023年软件研发应用大模型国内现状调查于2023年10月中旬开启，历时一个月时间完成数据收集。下面就基于调查获得的数据进行梳理和解析，汇编成本调查报告，希望不仅给每一位读者带来启发和思考，还能给每一个软件企业或团队

3、带来重大的参考价值，能够指导他们完成下一年度AI战略的重构、相关AI部署和行动的规划。本调查报告于AiDD峰会深圳站（2023年11月24日）首发公布，其中难免有不妥之处，敬请指正！01 调查获得的一些结论1.国内绝大多数（68%）软件研发团队是积极关注和拥抱大语言模型（LLM）的，开始使用或积极使用LLM，使用时间也超过2个月以上。积极投入较多人力和资金的企业也接近一半。2.软件研发团队最想借助LLM生成代码，提升研发效率，其次用于答疑解惑。3.超过1/3的软件研发团队是采用成本最低的方式：直接使用第三方LLM API。4.超过一半调查者是使用GPT3.5、GPT4.0，其次是国外开源Lla

4、ma 2。国内LLM中，讯飞星火大模型、百度文心一言大模型、阿里通义大模型排在前面。5.有专业LLM团队的企业还比较少，只有28.1%，但如果不限于LLM，扩展到AI人才，那情况就好多了，接近73%。虽然LLM人才短缺，但还是有较好的人才基础。6.LLM应用主要有七大困难，体现在关键要素上，如缺少人才、缺少算力、缺少高质量的数据等，同时目前应用水平低、存在安全/隐私担忧、数据数量不足、LLM部署能力不足等。7.LLM在需求这个环节主要应用的顺序，非常巧合，正好形成了一个较完整的、敏捷开发范式的需求过程。8.LLM在设计环节发挥的作用是最弱的，更多时候是作为顾问、知识库来使用，为设计提供知识服务

5、、提供建议。9.LLM在编程上的应用，“代码补全”、“函数级代码生成”分别排在第一、第二的位置（均超过55%）。其次，分别是代码修复、代码评审、遗留代码解释、代码优化等。代码采用率超过30%的比例达到了36%，效率提升超过20%的比重达到46%以上，LLM在编程环节获得良好收益的可能性有望达到80%。概括起来，LLM在编程上的应用值得去投入。10.使用基于LLM的编程AI助手，ChatGPT占了1/3，遥遥领先，其次是GitHub Copilot、自研的工具；国内工具前3名依次是CodeGeeX、Comate、CodeArts Snap。11.LLM在测试应用上，生成测试用例遥遥领先（超过了代

6、码补全），达到了62.9%。其次是生成测试脚本。测试效率提升明显的（超过20%）比重达到了43.7%，比开发略低（开发师46%）。12.LLM在运维环节应用是最薄弱的，空白的比重占到42.3%，在运维日志分析上是最高的，也只有17.5%。13.展望未来，绝大多数人（超过90%）都是乐观的，希望人人都有一个Al助手、极大地提升研发效率、显著地提升软件交付的质量、降低开发的成本等等。01本次调研，参加的企业超过100多家，主要来源于互联网企业，占比超过40%，其次来源于大金融、信息与通信、教育和文化娱乐等行业，如图1所示。从参与调查的企业规模看，分布相对均匀，小型企业（300人以下）占的比重相对比