《A2--王幸福--iCopilot Dev – 打造属于你自己的AI助手.pdf》由会员分享,可在线阅读,更多相关《A2--王幸福--iCopilot Dev – 打造属于你自己的AI助手.pdf(41页珍藏版)》请在三个皮匠报告上搜索。
1、iCopilot Dev 打造属于你自己的AI助手王幸福携程高级研发经理,测试专家王幸福携程 高级研发经理目前主要负责携程酒店质量工程工具和平台开发相关的工作在DevOps,效能平台,测试平台和框架等领域有较丰富的经验热衷于研究新技术,推动研发效能和质量的提升目录C O N T E N T S1.背景2.解决方案3.关键技术实现4.落地情况和案例5.总结和未来规划背景01AI代码助手的兴起GPT 3.0 发布OpenAI发布了第三代大模型,引起了业界的广泛关注。基于此模型的发布,GitHub内部启动了代码生成工具的项目,并寻求了与OpenAI的合作,开始了Copilot的研发GPT3.5横空出
2、世GitHub Copilot预览版发布AI辅助开发蓬勃发展2020202120232022现在随着OpenAI Codex模型的诞生,Copilot代码辅助工具的功能得到了极大的提升,该年的6月作为技术预览版发布GitHub Copilot对个人开发者全面开放,而随着OpenAI发布了可以载入史册的GPT-3.5模型并迅速在全球爆火,业界也开始关注到大语言模型在编程领域的应用。各大厂商都推出了自己的AI代码工具产品,开源项目也纷纷涌现,专注于代码领域的大语言模型也越来越多。AI可以辅助开发已经在业界达成了广泛的共识Stackoverflow Developer Survey 2024GitH
3、ub Copilot AI Code Tools Market 落地AI代码助手的挑战携程内部也引入了商业化的AI助手产品,也取得了不错的效果,但是.可扩展性在很多场景,我们需要对AI代码助手进行扩展,但在工具是闭源的情况下是很难做到的业务知识结合很多研发人员觉得代码生成效果不理想,主要就是由于缺乏业务知识引起的解决方案02我们想要什么样的AI代码助手?一个功能完备的可扩展的AI代码工具 界面美观 容易操作 开箱可用 速率易用性自动代码补全Chat对话支持Context,Slash Command多种模型选择支持多种IDE平台化高级AI智能工具功能性可扩展性 自定义Context 自定义Sla
4、sh Command 自定义Prompt 功能可扩展主流AI智能助手比较和选型开源方案主流AI工具支持VS Code支持Jetbrains单行代码补全代码块补全注释生成代码代码注释代码解析生成用例代码评审CodeLens支持Inline EditSlash命令上下文指定提交Commit终端输出纠错问题纠错Chat会话代码质量检测私域知识库检索自定义Slash命令扩展自定义上下文扩展本地化模型使用高级智能助手AI Code Assistant商业商业开源开源.商业开源GitHub CopilotAI代码助手标准代码检索的准确性模型选择灵活性上下文多样性自动完成的质量和速率便捷的指令可扩展性界面的
5、美观性代码大语言模型的选择和评估根据预算,基础设施,数据安全策略等因素决定采用开源模型还是商业模型根据基建,成本等因素选择模型部署的方式12参考模型在各种基准(如HumanEval,MBPP等)上的评估结果进一步筛选模型3自己准备评估的样本数据,将GPT-4模型作为基准模型进行比较来进一步评估模型的效果4开展内测收集用户的使用反馈5#TP#APHumanEvalMBPP+LiveCodeBenchUSACOGPT-4o-0513Closed-9173.543.418.8DeepSeek-Coder-V2-InstructOpen236B21B90.276.243.412.1GPT-4-Turb
6、o-0409Closed-88.272.245.712.3GPT-4-Turbo-1106Closed-87.869.337.111.1Claude-3-OpusClosed-84.27234.67.8Gemini-1.5-ProClosed-83.574.634.14.9CodeQwen1.5-ChatOpen7b83.567.225-Llama3-InstructOpen70B70B81.168.828.73.3DeepSeek-Coder-V2-Lite-InstructOpen16B2.4B81.168.824.36.5DeepSeek-Coder-InstructOpen33B33B