王言治-边缘大规模 GenAI 模型的即插即用加速框架.pdf

1、ML-SummitML-Summitwww.cpp-www.ml-summit.orgwww.gosim.orgwww.pm-summit.orgML-SummitML-SummitML-SummitML-SummitML-SummitML-Summit王王言言治治 美美国国东东北北大大学学电电子子与与计计算算机机工工程程系系教教授授演演讲讲主主题题：揭揭秘秘大大模模型型训训练练完完全全开开源源透透明明的的大大模模型型：从从预预训训练练到到增增强强学学习习美国马萨诸塞州波士顿东北大学电子与计算机工程系的教授兼学院研究员。他于2009年获得清华大学学士学位，2014年获得南加州大学博士学位。他的

2、研究兴趣主要集中在深度学习应用的模型压缩和平台特定加速方面。他的研究成果广泛发表在顶级会议和期刊上（如 DAC、ICCAD、ASPLOS、ISCA、MICRO、HPCA、PLDI、ICS、PACT、ISSCC、AAAI、ICML、NeurIPS、CVPR、ICLR、IJCAI、ECCV、ICDM、ACM MM、FPGA、LCTES、CCS、VLDB、PACT、ICDCS、RTAS、Infocom、C-ACM、JSSC、TComputer、TCAS-I、TCAD、TCAS-I、JSAC、TNNLS 等），被引用超过18,000次。他曾获得六项最佳论文奖和顶级论文奖，以及一次通讯（Communic

3、ations of the ACM）封面专题文章的荣誉。ML-SummitML-SummitYanzhi WangProfessorDept.of Electrical and Computer EngineeringNortheastern UniversityApril 04,2024A Plug-and-Play Acceleration Framework for Large-Scale GenAI Models on the EdgeML-SummitML-SummitSignificant Increase of Generative AI01Large language mode

4、l and interactive systemVideo generation and processingImage generation and processingIntegrated platforms of GenAISignificant increase in the large-scale GenAI model and serviceOver 200 million content creators in theworld(Influencer Marketing Hub,The Leap)70%of Generation Z uses generative AI(Sale

5、sforce survey)ML-SummitML-SummitSignificant Increase of Open-Source GenAI Models02Significant increase in open-source GenAI models,making itpossible for local deployment oflarge-scale GenAI modelsSuccessful open-source models in recent 5years such as LLaMA,Mistral,StableDiffusion,etc.Successful open

6、-source model platformssuch as Hugginface,Modelscope,GitcodeML-SummitML-SummitPain Point:Ultra-High Cost in GPU Computing80%cost of cloud-based GenAI service providers is on GPUOnly 23%acceleration with 10X increase of GPU cost01Stable diffusion 1.5 benchmark results(https:/ report（https:/ Point:Gen