宋欢-快手KwaiCoder模型：低成本构建先进代码大模型的实践探索.pdf

1、ML-SummitML-Summitwww.cpp-www.ml-summit.orgwww.gosim.orgwww.pm-summit.orgML-SummitML-SummitML-SummitML-SummitML-SummitML-Summit宋宋欢欢 快快手手大大模模型型算算法法专专家家2018年硕士毕业于中科院，毕业后一直从事代码智能方向的研究，专注于代码模型训练和应用落地。于2024年加入快手，负责 KwaiCoder 大模型Pre-training、Post-training 及 Code Agent 等方向的算法研发工作，目前自研代码大模型优于开源 SOTA base 模型

2、。近期专注于前沿 LLM 算法的探索和落地，不断突破代码大模型性能瓶颈。演演讲讲主主题题：快快手手K Kwwa ai iC Co od de er r模模型型：低低成成本本构构建建先先进进代代码码大大模模型型的的实实践践探探索索ML-SummitML-Summit2 20 02 25 5 全球机器学习技术大会快快手手低低成成本本构构建建先先进进代代码码大大模模型型的的实实践践探探索索宋欢ML-SummitML-Summit目目录录技术路径模型性能数据构造模型训练总结与展望ML-SummitML-SummitML-SummitML-Summit模型介绍KwaiCoder-23B-A4B-v1 是

3、快手 Kwaipilot 团队最新开源的自研代码续写大模型，模型的训练依托于 Kwaipilot 团队提出的一种高效的模型训练方案。通过结合模型剪枝、知识蒸馏、细粒度合并等技术，相比传统方法以1/30的成本完成了23B 宽MoE架构代码续写模型的训练，并在多个代码领域评测集上实现了新的 SOTA。开源地址：https:/huggingface.co/Kwaipilot/KwaiCoder-23B-A4B-v1ML-SummitML-Summit技术路径高高质质量量文文本本高高质质量量代代码码高高质质量量合合成成数数据据完完成成模模型型的的知知识识压压缩缩(s sc ca al le e d d

4、o owwn n)与与模模型型参参数数扩扩充充(s sc ca al le e u up p)结结合合模模型型知知识识蒸蒸馏馏与与细细粒粒度度切切分分模模型型的的剪剪裁裁与与合合并并经经济济高高效效数据筛选模型训练路线350+次实验结果表明，该方法不仅超越了基基线线模模型型的表现，还在多个基准上达到了S SO OT TA A指指标标。ML-SummitML-SummitML-SummitML-SummitHumanEval 评测KwaiCoder-23B-A4B-v1 在在HumanEval和和HumanEval+测测试试集集上上的的Pass1指指标标上上分分别别达达到到82.9%和和76.2

5、%，超超过过了了目目前前最最好好的的Base模模型型（OpenCoder-8B），达达到到了了SOTA水水平平。ML-SummitML-SummitBigCodeBench 测评B Bi ig gC Co od de eB Be en nc ch h 是是一一个个用用于于评评估估大大型型语语言言模模型型在在解解决决实实际际和和具具有有挑挑战战性性的的编编程程任任 务务 上上 的的 性性 能能 的的 基基 准准 测测 试试，在在 B Bi ig gC Co od de eB Be en nc ch h-C Co ommp pl le et te e 全全集集和和H Ha ar rd d子子集集上

6、上。ML-SummitML-Summit多语言能力在在多多语语言言能能力力上上(MMu ul lt ti ip pl l-e e)超超 过过 了了 目目 前前 最最 好好 的的 B B a a s s e e 模模 型型（O Op pe en nC Co od de er r-8 8B B，6 62 2.8 8），达达到到了了S SO OT TA A水水平平。在在代代码码续续写写任任务务上上我我们们测测评评了了F Fi il ll l-i in n-MMi id dd dl le e榜榜单单，超超过过了了目目前前最最好好的的B Ba as se e模模型型 (Q Qw we en n2 2.5