让算力不再成为瓶颈小红书机器学习异构硬件推理优化之道.pdf

1、让算力不在成为瓶颈小红书机器学习异构硬件推理优化之道演讲人：杜泽宇 小红书 商业化引擎团队负责人目录!#$%&()*+,-./Contents01 前言前言!#$%&()*+,-./0.123456789$:;?3A?BBCDEFGHEIJKL+MNOPQRSTUV$WGHE+XYZ3;XYZ$fghi_jk+%&(lmnopqQrs$tuvREwxwyE#z|E456E;+p$-D$+3+2Q02 背景背景背景!#$%&()*03 模型服务概览l;E EtuvEwxwwE#+4;r$;$ER;+AsEEEE9E$;+EEa$D+;+EGEEx$EC+RE!xxEE#E$%$E&E()*E+E

2、Q模型服务推、搜、广大稀疏模型 CTR类l4,4,REwxwxE#-$tuv.9E(/E012E,3R 4,$wxwx#5$6789E(/F(j:+E;E01?E2Q(/E012ER|/-|ABE(G(C(DEF($EF;4+GE3-HQR5+67IJ/KP&$ELMNO7X模型服务lPQPQ,REwxwxE#-$tuvST;+PQ,$Ewxwx#UVWXY5$4.6ZU+PQ,R(/NO8$j:_()EEGE+PQ,$EnoWGH-5$E;()RFGH.a+lm$PQ,bac其它模型 -CV，NLPlPQPQE E E E44,RFd$EeGE)*$EPQ,89EfC(gENOVW$Ehij

3、kl|El%tuvTjW%m$En%&.ojpqr$sS$tu%+ovPwo9x.oyz+%&Q;|+EWGH=$_$EWGHFGH i$S&.&.*7lmQ模型服务lWGHWGH R$tuv3:bc+lmR+$WGH)+-V“A”.).)=3eQ:$A”A”%WGH)E)7%EWGH$|ERWGH E)=E)7=ee=eEWGH%Qs?d RA”3E)$E)=+$=$EWGH+9-$h+Q模型服务04 GPU优化实践GPU优化实践 系统优化 R%p$-.9+$E+$EWGHEi+:z2$E+rQ$-yDw+$e_pqrX|QEWGHE+jh$s:+EWGHE+=Q2+K3$EWGHE+3QW

4、GH+$OEWGHE+=OPQGPU优化实践 系统优化l RaV$E(EKK+EeHE$EFGHE3WGH-+A”OPQFGHEeHECf$3FGHP$l$Qsn$EFGH+2+QsS$3-”nRFGH2$lOP3$89FGHEeHECf+$?R2+EeHEe(EQERtuvU$EFGH+z|tQxFGH2-?+EFGHEE)E+$EWGHx+QFGH9RExEV$-wxxEDEyxQGPU优化实践 系统优化l LMQEFGHE+?X+$Epqr.+%#$?+#2$%&sdyw7Q(p+EaC#)+E(#)+EGC*E*y+!E,EwEyx+%r$”%?+J$LMK-_i+J$E-.9|+V$

5、R%+EFGHE/0?EyxQ1 aC#)+(#)+GC*y+!(C;*2C DD(C3Dg3)f)D14ywEDD(C3D4EDD(C3D(D!(/EDD(C3D;*2C DD(C3DwEDD(C3D!EDD(C3D!EDD(C3D(DEDD(C3D4y+;*2C DD(C3Dg DD(C3D(1;DD(C3D DD(C3D(DgEDD(C3D*GPU优化实践 计算优化 Rtuv+U$sV/n5$67lm y8FGHE+a$EE2E*CE-$EFGHE9:;$=EC6=+E;CEt$4+|Y;QtE;CEE)E-9EWGHE+=XQEWGHE)E$-?E)E*gE+z$E)E*gE+E)ES

6、NQRE(/E$EF*0CE*gE)EAB$4UVEWGHE9CExQSi$9t;$I;+JKPQGPU优化实践 计算优化 LE2E*CE-+lm 9EM(?E*CE0CE=E*CEF(C4CE+R$Z+AB$REWGHE9Ex,Q$9Ee1E+EF*G0ER$EWGHE+J9E#?aE)E+$_EWGHE+9|QGPU优化实践 计算优化|=_|+-abE*(NODcdef/LMgh+E(/#$9EFGHE+EF?456+U$Ekh+UCy*E,EeEEC+lmEVW|WGH