基于CodeFuse的下一代研发探索-姜伟.pdf

1、基于CodeFuse的下一代研发探索蚂蚁集团高级算法专家/姜伟基于CodeFuse的下一代研发探索蚂蚁CodeFuse代码大模型蚂蚁LLM应用于研发的现状未来展望蚂蚁CodeFuse代码大模型大模型适合研发型智力活动吗？我们曾经曾经以为：创作型工作不容易被AI取代：绘画，编曲，写作，编码莫拉维克悖论莫拉维克悖论 告诉我们：理论上：大模型可以帮我们写代码，大模型可以助力研发大模型适合研发型智力活动吗？OpenAI的 Copilot研究:Research:quantifying GitHub Copilots impact on developer productivity and happine

2、ss超过2000开发者调研，结果如下：图片来源：https:/github.blog/2022-09-07-research-quantifying-github-copilots-impact-on-developer-productivity-and-happiness/实践上：大模型可以帮我们写代码，大模型可以助力研发大模型适合研发型智力活动吗？研发提效的路径选择？-“提升个人”VS“提升大模型”信息技术发展需要人才与软硬件人才与软硬件设备的同时进步。随着摩尔定律发展，硬件设备取得了巨大进步，而软件开发是一种智力劳动密集型智力劳动密集型的群体协同活动，关键在于优秀程序员优秀程序员。传统的

3、研发程实践依赖于人的能力和意愿，提升个人能力是一个漫长的过程且难以标准化漫长的过程且难以标准化。大模型能力提升遵循AIAI摩尔定律摩尔定律：每年LLM大小增长增长1010X X。人工智能运算量每隔18个月翻一番翻一番（Sam Altman）。AI 摩尔定律观察：gpt1 2018年gpt2 2019年gpt3 2020年copilot 2021年chatgpt 2022年GPT4 2023年https:/huggingface.co/blog/large-language-models研发模式的奇点正在发生 基础模型与人工智能生成工具正在重塑技术人员的工作方式 (2023.5 Qcon全球软件

4、大会)AI 将改变软件研发的工具，诞生“Dev Tools 2.0”,将软件从 Software 1.0 带向未来Software 2.0（弯道超车的巨大机会？）图片来源：https:/ 与BizDevOps 研讨会CodeFuse代码大模型发展历程20222023 Q12023 Q22023 Q32023 Q4GPT模型 0.25B模型 代码行补全 全蚂蚁落地CodeFuse立项 发布1.3B-2K模型 多语言代码补全 发布编程开发助手CodeFuse1.0 发布CodeFuse1.0 支持7B-4K和13B-4K模型 蚂蚁内公测、大客户试用CodeFuse 2.0 发布代码补全IDE插件，

5、支持多语言、多IDE CodeFuse开源，登顶开源代码大模型HumanEval榜单(74.4%)CodeFuse 3.0 IDE插件对外开放 支持数十种研发下游任务 支持Code Interpreter和工具调用CodeFuse开源CodeFuseCodeFuse开源地址开源地址ModelscopeModelscope:https:/ GitHub ModelScopte Huggingface Gitee极客公园2023中国+大模型先锋案例 TOP10开源中国2023年度优秀开源技术团队CodeFuse模型架构CodeFuse前处理输入文本Prompt构造BPE TokenizerMHA+

6、FFN并行架构RoPE位置编码MFT指令微调Text2CodeCode2TextText2SQL下游任务测试用例生成Bug定位修复其它.Attention安全保障安全保障 蚂蚁沉淀的安全服务平台 代码意图识别服务 多管齐下的去毒能力GPT3GPT3多项优化多项优化 RoPE位置编码 4K/16K/32K长上下文支持 MQA/GQA高效Attention创新的指令微调创新的指令微调 创新的多任务微调MFT 低资源PEFT微调技术 测试反馈强化学习RLTF代码领域专业定制代码领域专业定制 代码领域特色词表 覆盖代码领域主流下游任务 蚂蚁沉淀的代码数据与能力CodeFuse训练数据各语言分布不均匀代