Jina AI 王峰-多模态大模型高效部署实践.pptx.pdf

1、Berlin Beijing Shenzhen多模多模态态大模型高效大模型高效部署部署实实践践王峰 Jina AI 2023年07月01日About me2021-now,Engineering manager,Jina AI2020-21,Senior Researcher,Huya AI2018-19,Senior Researcher,Tencent AI2011 -18,Ph.D.,Hong Kong Baptist University王峰，王峰，开源 MLOPs 框架 Jina 的核心贡献者，专注机器学习与深度学习算法在 NLP，多模态表征学习和信息检索领域的落地与应用。numb3

2、r3 felix.wangjina.ai多模多模态态大模型的大模型的兴兴起起GPT-4 的一大亮点就是不仅能理解文字，还能识别图片内容多模多模态态大模型的大模型的兴兴起起MiniGPT-4:简单整合了BLIP-2和Vicuna，通过BLIP-2将图片转为文字描述，再用Vicuna基于这个文字描述进行内容创作。Zhu,Deyao et al.“MiniGPT-4:Enhancing Vision-Language Understanding with Advanced Large Language Models.”Arixv,2023大模型的大模型的“能力涌能力涌现现”ChatGPT/GPT-4

3、的横空出世，已经彻底改变了NLP领域的研究态势,模型能力越来越强-使用提示词 prompt 来完成特定意图；-由于“涌现涌现”能力，借助 Incontext Learning 方法可以处理未见过的任务；-改变了模型使用的范式多模多模态态 AI 的崛起的崛起人工智能正在从文本、语音、视觉等单模态智能，向着多种模态融合的通用人工智能方向发展。BeforeAfter多模多模态态模型模型简单来说，就是指模型可以处理多种结构/类型的数据，可接收多种类型的数据源，例如 GPT-4，它既可以处理你输入的文本，也可以处理你上传的图片。AcousticTextualVisual表征学习表征学习让模型为所有模态创

4、建通用的特征表示迁移学习迁移学习让模型首先学习基础知识，然后在特定领域进行微调。单单模模态态 AI多模多模态态 AI基于多模基于多模态态的大模型将的大模型将实现图实现图文音文音统统一知一知识识表示，表示，成成为为人工智能基人工智能基础设础设施。施。多模多模态态大模型大模型应应用挑用挑战战计算资源需求：大模型由于其参数众多，因此在训练和推理阶段都需要大量的计算资源。这可能需要昂贵的硬件设备，并可能导致能源消耗问题。模型推理效率低：大模型的高效推理是工程应用的关键技术。推理环节在计算精度（FP16/INT8）、算力消耗量等方面的要求较低，但 GPU 显存不足的问题同样会出现在推理环节。此外，模型推

5、理速度受限于通信延迟和硬件内存带宽。如何保持低延迟的前提下，还尽可能节省计算资源和使现有显存满足推理的要求，是我们依然面临的问题。数据处理：多模态数据需要复杂的预处理和后处理步骤。模型优化：大模型的训练通常需要精细的超参数调整和优化策略，以确保模型的性能和稳定性。模型部署：部署相对复杂，在生产环境中部署大模型可能会面临技术和运营挑战。以上就是一些大模型和多模态技术在实际应用中可能会遇到的技术挑战。解决这些挑战可能需要跨领域的合作和持续的技术创新。延延迟迟（lateny）+成本（成本（cost）OpenGPT多模态大模型服务框架多模态大模型服务框架多模多模态态大模型大模型推理服务框架An ope

6、n-source cloud-native of large multi-modal models(LMMs)serving framework.Support for multi-modal models on top of large language modelsScalable architecture for handling high traffic loadsOptimized for low-latency inferenceAutomatic model partitioning and distribution across multiple GPUsCentralized