刘力-算力魔方^MOpenVINO赋能AI边缘大模型（LEO）20240622 - release.pdf

1、MEETEDGELARGELANGUAGEMODDEL算力魔方+OpenVINO赋能AI边缘大模型刘力算力魔方创始人英特尔边缘创新大使支持大模型IO连接物理世界运行在端侧算力魔方+AIPC算力魔方简介积木式组合算力积木式组合了最新的CPU、GPU、IO模块，组成高效紧凑的计算单元，旨在加速人工智能、物联网、边缘计算等领域的应用开发与实际部署，赋能未来科技的无限可能。开发套件算力魔方开发套件是专为AI与IOT领域的开发者、科研人员及教育工作者设计的高性能、易上手的硬件开发平台。多种产品形态算力魔方提供灵活的系统组成方式，可以实现板卡级、套件、模组、迷你主机、工控机的多种方式，协助开发者搭建开发平

2、台。一站式服务提供定制化服务，可以实现从Idea to Product，协助开发者从概念实现到原型设计到产品化的一站式服务，实现多种行业和场景解决方案。算力魔方简介第一层：CPU模块提供基本功能第二层：扩展模块提供IO扩展功能搭载CPU、内存、M.2 SSD的计算模块算力魔方模块化设计体积小巧支持多种IO/GPU稳定可靠支持定制128mm73mm97mmGPU扩展模块CPU模块算力魔方显卡支持支持8-14代酷睿支持RTX1650(4GB)、A380(6GB)、RTX4060(8GB)显卡算力魔方产品线核心板开发板/套件算力魔方AIPCTank工控机Optimized PerformanceFP

3、GACPUNPUGPUOpenVINO加速生成式AI OpenVINO编程生态指定OpenVINO 为PyTorch 2.x后端ONNX Runtime的OpenVINO 执行提供者OpenVINO 与Optimum的集成OpenVINO 作为后端已集成到 OptimumOptimum Intel 是一个链接Transformers库和Diffusers库与OpenVINO 的工具包，用于加速在英特尔硬件平台上的AI大模型流水线(pipeline)的执行过程!Optimum Intel简单易用！一条命令完成模型的INT4/8量化optimum-cli export openvino-model

4、 Qwen2-1.5B-Instruct-task text-generation-with-past-weight-format int4-group-size 128-ratio 0.8 qwen2-1.5b-instruct_int4Optimum Intel简单易用！无需大幅修改原有代码-from transformers import AutoModelForCausalLM+from optimum.intel import OVModelForCausalLMfrom transformers import AutoTokenizer,pipelinemodel_id=helen

5、ai/gpt2-ov-model=AutoModelForCausalLM.from_pretrained(model_id)+model=OVModelForCausalLM.from_pretrained(model_id)tokenizer=AutoTokenizer.from_pretrained(model_id)pipe=pipeline(text-generation,model=model,tokenizer=tokenizer)results=pipe(Hes a dreadful magician and)pip install optimum-intelopenvino,

6、nncf只需将原本使用的Transformers 库的AutoModelForXxx类替换为Optimum Intel库的OVModelForXxx类即可跨平台跨平台OpenVINO 提供了一个推理引擎，支持多种英特尔硬件，包括 CPU、iGPU、GPU、FPGA支持多种模型支持多种模型易部署易部署开源开源OpenVINO 包括一个模型优化器，可以将各种格式（如TensorFlow 和 ONNX）的预训练深度学习模型转换为其优化的中间表示（IR）格式。一次编写，任意部署”：转换后的模型能够在不同的英特尔硬件平台上运