02-华为机器翻译模型训练推理加速实践-魏代猛.pdf

1、华为机器翻译架构和模型加速华为机器翻译架构和模型加速魏代猛华为2012/机器翻译实验室-华为高级技术专家，机器翻译算法负责人，产品落地华为云、HMS、华为手机等-北京大学硕士，研究方向：机器翻译、同传翻译、语义理解等-带领团队参加 WMT20/21/22 news、biomedical、efficiency等赛道多项 第一，IWSLT 22 多项第一，WAT20比赛多项第一-在AAAI，ACL，EMNLP，ICASSP等发表论文30+个人简介 机器翻译简介 模型推理问题 端测推理加速 华为机器翻译 总结大纲机器翻译简介1、主流的机器翻译模型包含Encoder和Decoder两部分，Encode

2、r将原文整个序列编码成一个多维向量，Decoder将原文序列的向量解码成译文。2、Attention模型记录原文和译文的词对齐关系，指导机器翻译在解码译文某个词时，应该更关注与原文的哪一个部分，以提升长句翻译质量。机器翻译简介Ashish Vaswani,Noam Shazeer,Niki Parmar,Jakob Uszkoreit,Llion Jones,Aidan N.Gomez,Lukasz Kaiser and Illia Polosukhin.“Attention is All you Need”Neural Information Processing Systems(2017)

3、.Encoder：6Decoder：6Hidden size：1024参数量：2亿大小：800M模型推理问题Transformer模型在GPU，CPU，ARM运行典型值模型太大，计算量太大GPU/T4CPU/IntelARM耗时45 ms/token150 ms/token-端侧最具挑战模型推理问题让模型变小存储计算量质量速度质量大小 机器翻译简介 模型推理问题 端测推理加速 华为机器翻译 总结大纲端侧推理加速模型存储小 小模型 质量变差 计算量小知识蒸馏Geoffrey E.Hinton,Oriol Vinyals and Jeffrey Dean.“Distilling the Knowl

4、edge in a Neural Network”arXiv:Machine Learning(2015):n.pag.Yoon Kim and Alexander M.Rush.“Sequence-Level Knowledge Distillation”Empirical Methods in Natural Language Processing(2016).Markus Freitag,Yaser Al-Onaizan and Baskaran Sankaran.“Ensemble Distillation for Neural Machine Translation”arXiv:Co

5、mputation and Language(2017):n.pag.小模型 高质量？知识蒸馏96%端侧推理加速Tiny Bert小模型&高质量Xiaoqi Jiao,Yichun Yin,Lifeng Shang,Xin Jiang,Xiao Chen,Linlin Li,Fang Wang,and Qun Liu.TinyBERT:Distilling BERT for Natural Language Understanding.EMNLP 2020小模型：更小空间，更快的推理Benoit Jacob,Skirmantas Kligys,Bo Chen,Menglong Zhu,Matt

6、hew Tang,Andrew Howard,Hartwig Adam and Dmitry Kalenichenko.“Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference”Computer Vision and Pattern Recognition(2018).增加量化层，FP32-Int8-FP32，E2E训练端侧推理加速-模型压缩，低精度推理小模型：更小空间，更快的推理端侧推理加速-模型压缩，低精度推理Alham Fikri Aji and Kennet