当前位置:首页 > 报告详情

在 Oracle 云上使用 AMD Instinct GPU 大规模提供内存密集型 LLM 服务 [LRN1371](1).pdf

上传人: Fl****zo 编号:971079 2025-11-08 37页 3.12MB

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
根据报告的内容,以下是全文关键点的概括: 1. **主题**:在Oracle Cloud Infrastructure (OCI)上使用AMD Instinct GPU部署和运行大型语言模型(LLM)。 2. **核心数据**: - 7/10最大的AI公司使用AMD Instinct GPU。 - MI300X GPU在内存受限场景中表现最佳,适合长输出序列和严格延迟约束的任务。 - MI355X GPU相比MI300X,在单GPU上提供3.9倍的吞吐量提升。 3. **关键点**: - OCI提供最佳核心基础设施,包括快速内部节点带宽、裸金属GPU计算和超集群。 - OCI支持80多个合规计划,包括HIPAA、FedRAMP等。 - OCI提供灵活且合规的部署,包括全球云区域和简单、可预测且可扩展的定价。 - OCI与Cerner、LHN、Enviza、NVIDIA、Cohere等有独特协同效应。 - OCI支持多种AI解决方案的构建和交付方法,包括模型访问、代理AI构建和编排、直接GPU访问。 - 使用vLLM库优化LLM推理,提高GPU内存利用率和处理长序列的能力。 - AMD Instinct MI300X平台优势包括1.5TB HBM3内存、10.4 PF FLOPS和896 GB/s聚合双向带宽。 - OCI支持多种合规计划,包括HIPAA、FedRAMP等。 - OCI提供灵活的部署选项,包括商业、主权、政府和Cloud@Customer云区域。
"LLM在OCI上如何高效部署?" "AMD MI300X在OCI上性能如何?" "OCI助力AI药物研发!"
客服
商务合作
小程序
服务号
折叠