大模型驱动的智能代码生成-王初晴 -脱敏.pdf

1、大模型驱动的智能代码生成王初晴百度资深研发工程师王初晴8年软件研发，百度代码团队骨干，现主要负责代码智能化研发与落地。曾担任代码搜索、代码扫描、云IDE等方向技术负责人，致力于打造一流DevOps工具与平台。百度一级专利发明人，在代码智能、静态代码分析、代码搜索、云IDE等方向申请专利20+个。百度资深研发工程师嘉宾照片目录CONTENTS背景背景01 百度代码生成工具介绍百度代码生成工具介绍02 场景演示场景演示03 百度的落地效果百度的落地效果04 05 未来展望与思考未来展望与思考01背景时代在发展，研发模式在变化随着研发新形态、新过程的演进，会产生新的交付物，如提示词、模型应用、数据等

2、等。随着云原生技术的进步，交付物会发生一些变化，从原有的单纯的压缩包，逐步演进为镜像、容器方式。此外，CI/CD过程会逐步大范围引入云原生技术，大范围引入容器化构建、调度等技术。随着交付物逐渐多样化，衍生出镜像仓库、模型仓库、数据集仓库等制品仓库。随着云技术、IDE技术的逐步成熟，云IDE、环境复用等一系列工具能力被打造出来。随着代码托管技术进步，逐步从SVN演进为Git，分布式代码托管，并通过CR、MR等技术提升代码质量。随着测试技术的演进，越来越多的CI任务变为自动化、自助化的能力。随着能力标准化、在线化建设，越来越多的CI能力左移，被RD直接使用。大模型横空出世，AI生态迅速发展节点事件

3、2020年6月GPT3发布2021年7月GitHub Copilot发布2022年9月Whisper发布，LLM正式引入语音转文本2022年11月ChatGPT发布2023年3月GPT 3.5 Turbo发布，成本降低90%2023年3月GPT4发布，极大提升置信度能力2023年3月Auto-GPT发布，提示词工程的一次伟大演示2023年4月GitHub Copilot产品矩阵丰富，包括Docs、PR、CLI研发环境一直在发展，也必然会继续发展1991纯手写编码1991年程序员使用纸带纯文本编写代码效率底下、对程序员要求高、成本极高1991IDE1991 1996 年开发、编译集成到一个环境中

4、效率略有提升、对程序员要求高、成本高1996自动补全1996 2021 年基于语法树、特定触发符号提供部分补全效率明显提升、对程序员要求低、成本低2021AI补全2021 2030 年基于AI大模型学习，支持多种形式补全触发效率提升非常明显、对程序员要求低、成本低2030自然语言2030 年 90%的代码由AI产生效率提升非常明显、对程序员要求低、成本低02百度代码生成工具介绍AI助力编程提效10倍大语言模型（LLM）在内容生成领域上产生了新一次变革 大语言模型对于编程语言的生成效果更好语法规范更严格语句无歧义性逻辑有迹可循编程语言可枚举，单个语言规模远小于自然语言程序员永远都会找到效率最高的

5、实现方法如同IDE,AI在未来是每个程序员最重要的辅助工具让程序员工作聚焦，发挥更大价值编码:需求具象化测试业务分析:抽象需求编程编写代码搜索代码片段历史实现其他人的实现阅读文档查找代码错误与人交流验证假设快速生成测试代码做人不爱做的事快速补齐代码自然语言直接生成代码查找代码错误,提升代码质量结合大模型，打造智能代码生成产品数据模型工程智能代码生成模型预训练 Github 私域代码原始数据 Star数 活跃度数据源清洗 片段长度 复杂度内容清洗 语言分布 知识覆盖分布平衡 FIM结构转换多场景精调数据分析 语法解析 函数调用关系分析 文件依赖关系分析 独立函数提取数据生产 测试函数与被测函数

6、代码片段与注释 代码片段与代码解释 代码问答对数据清洗 高复杂度函数过滤 无效注释过滤 测试框架过滤与分类（单测）代码格式化工程优化，发掘模型潜力什么时候生成 单行 VS 多行 规则 VS AI 环境匹配度用什么生成 上文代码 下文代码 相关文件怎么生成 Prompt调优 专项SFT生成后咋用 质量检测 可信度 后文合并不满意怎么办 多条推荐 更大规模模型介入反馈驱动创新安装推荐采纳留存反馈驱动创新加入训练LLM模型+产品=体验基于飞桨深度学习框架+文心大模型，业内领先的大模型框架和产品确保推理跟上编码速度文心大模