当前位置:首页 > 报告详情

腾讯云:2026从”能用“到”好用“-混元翻译模型核心能力与架构实践分享报告(35页).pdf

上传人: 散** 编号:1126779 2026-02-25 35页 4.21MB

下载:

1、HY-MT:腾讯混元轻量级大模型的翻译训练与优化实践目录 MenuHY-MT近期进展HY-MT效果与CASE分享HY-MT训练方案详解HY-MT应用场景能力建设经验总结未来展望腾讯混元技术专家混元应用算法负责人郑茂现任腾讯混元技术专家,混元应用算法负责人。负责混元大模型在腾讯的应用落地,包括广告、社交、娱乐、教育、客服等业务的大模型应用层效果优化。技术研究方向包括大模型复杂推理、多轮对话、翻译、RAG、AGENT 等。在 ACL、AAAI、EMNLP、COLING、CVPR 等会议上发表数十篇论文。带领团队获得 WMT2025 翻译比赛诸多赛道第一名。导师介绍夺冠-通用翻译赛道上,31个语种中

2、30个语种第一(超过Gemini-2.5-pro、CLAUDE4、deepseek v3、qwen3 235b等模型)。-31个语种除了中文、英语、德语、日语等常见语种,也包含捷克语、马拉地语、爱沙尼亚语、冰岛语等小语种WMT2025开源-开源HY-MT1.5-7b、HY-MT1.5-1.8b、HY-MT-Chimera三个模型-重点支持33个语种互译。特色能力包括5种民汉语言/方言互译、俚语翻译等-Huggingface首页趋势榜排名第一,HY-MT1.5开源28天下载量超30W次HY-MT开源应用多场景应用落地-接入腾讯会议(实时翻译、会后翻译),腾讯游戏出海翻译、企业微信(聊天记录翻译、

3、邮件翻译),微信读书(划词翻译、书籍翻译)、QQ浏览器(文件翻译、划词翻译),腾讯海外客服、腾讯云翻译等。HY-MT近期进展HY-MT效果与CASE分享HY-MT效果与CASE分享HY-MT效果与CASE分享HY-MT效果与CASE分享HY-MT效果与CASE分享HY-MT效果与CASE分享HY-MT训练方案详解HY-MT训练方案详解涵盖33种语言和民族语言采集/合成大量多语种数据通过在小模型上进行实验,确定训练数据中最优语种配比训练数据语种配比训练学习率从较小学习率warmup到pretrain的起始学习率,再进行cosine decay,平衡旧知识的遗忘和新知识的适应训练学习率调整防止多语

4、言增训影响中英能力对中英数据进行replayP多语言增训CDA如何进行多语言增训(CPT)如何获取高质量平行语料(SFT)高资源语种先采用少量网络收集和内部人工标注的高质量数据训练一个融合模型,然后使用该融合模型,将多个效果领先的大模型翻译结果进行融合,最终得到质量更高的翻译结果对于低资源语种,采用高资源语种(如英语)进行桥接得到低资源语种之间的平行语料,再通过多维度质量打分进行筛选低资源语种如何设计多语言RM(RL)多语言RM设计方法1有参考评估+无参考评估2通用翻译质量+领域翻译质量3基于规则评估+基于模型评估4翻译独有RM+通用RM如何设计多语言RM(RL)如何提升低资源语种翻译效果(R

5、L)SSR(Simple Self-Rewarding)强化学习训练方案利用回译方法,只依赖单语数据即可训练。让模型把语种A文本翻译成语种B,再翻译回语种A,通过计算两个语种A文本的相似性来得到reward信号。使用特定prompt对翻译质量进行打分,最终使用该打分进行GRPO强化学习训练。这样既能做到不依赖平行语料,又能做到翻译能力和翻译打分能力之间的相互促进。低资源语种效果达到同尺寸SOTA如何提升术语翻译效果(RL)TAT-R1训练方法在强化学习训练阶段,提出TAT-R1训练方法,在RM中引入术语词对齐、术语出现顺序、思维链是否包含关键术语等维度通用翻译能力不下降的情况下,模型术语翻译效

6、果大幅度提升HY-MT应用场景能力建设典型场景:企微邮件翻译,QQ浏览器网页翻译,腾讯视频字幕翻译。带格式翻译典型场景:腾讯会议会中翻译,腾讯财报会同声传译,QQ浏览器视频/直播翻译实时翻译典型场景:划词翻译、教育场景倡议能力词典翻译&解释性翻译术语、例句库翻译典型场景:定制化翻译需求的场景、领域翻译专业度要求高HY-MT应用场景能力建设带格式翻译解决方案:-设计一协议承载原始格式信息,可以多个相邻文本一起翻译,保证翻译语义套连贯性。-借助LLM和词对齐等工具构造训练数据,并人工check确保数据质量-SFT进行冷启+GRPO强化提升效果,reward既关注翻译质量也关注格式信息保留效果实时翻

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
1. **HY-MT模型成果**:腾讯混元大模型HY-MT在WMT2025翻译比赛31个语种中30个获第一,开源模型HY-MT1.5下载量超30万次,HuggingFace趋势榜第一。 2. **技术方案**:通过多语言数据配比优化、replay保护中英能力、SSR强化学习提升低资源语种效果,TAT-R1方法显著改善术语翻译。 3. **应用场景**:覆盖腾讯会议实时翻译、企微邮件翻译、QQ浏览器文件翻译等,支持带格式、实时、术语库等定制化需求。 4. **部署方案**:对比HuggingFace Transformers、VLLM(吞吐量提升24倍)、LM Studio,满足隐私保护、成本控制、离线部署需求。
**翻译冠军?** (针对WMT2025夺冠成果,吸引关注大模型翻译效果的用户) **开源模型?** (突出HY-MT开源成果,吸引开发者和技术爱好者) **本地部署?** (聚焦大模型本地化部署方案,吸引企业用户和开发者)
客服
商务合作
小程序
服务号
折叠