释放至强潜能助力千帆推理.pdf

1、释放至强潜能助力百度智能云千帆推理郭 彬 丨 英特尔高级云计算软件架构师英特尔 至强 6 最新可扩展处理器平台第三代英特尔 至强 可扩展处理器第四代英特尔 至强 可扩展处理器第五代英特尔 至强 可扩展处理器最新英特尔 至强 6 处理器Sierra Forest能效核Granite Rapids性能核出色的AI 专用 CPU针对工作负载优化的性能高能效计算可靠、优质解决方案NEW英特尔 至强 6 处理器在云计算领域的优势每路内核数与第五代英特尔 至强 可扩展处理器比较倍倍平均单核性能提升至与第五代英特尔 至强 可扩展处理器比较倍平均每瓦性能提升至与第五代英特尔 至强 可扩展处理器比较平均 TCO

2、 降低（同等性能水平下）与第五代英特尔 至强 可扩展处理器比较降低云计算成本2.062.072.142.052.052.142.152.322.312.432.502.403.082.301.441.451.501.441.431.501.501.631.621.701.731.682.161.600.00.51.01.52.02.53.03.5IntegerThroughputFloating PointThroughputMemoryBandwidthLINPACKMongoDB(1S)MySQL(1S)ClickhouseDBSSB LZ4Redis VectorSimiliarityS

3、earchNEMOgeomean(2)OpenFOAMgeomean(2)HPCGLlama3 8BSummarizationint8Llama2-7BSummarizationbf16GeomeanPerformance 69xxP/8592+Performance/watt 69xxP/8592+详情请见 至强 6 处理器）。结果可能不同。每瓦性能基于 CPU 热设计功耗(TDP)。本产品未得到 OpenCFD Limited、OpenFOAM 软件生产商和分销商（通过 ）以及 OPENFOAM 和 OpenCFD 商标所有者的批准与支持。1124111331 128 核，MRDIMM2

4、128 核，DDR53 96 核，MRDIMM4 96 核，DDR5助多种工作负载实现显著性能提升英特尔至强6 性能核处理器与第五代英特尔至强可扩展处理器比较1221通用计算归一化至 8592+（64c）-越高越好数据和 Web 服务科学计算AIUp to 128 cores per CPUIncreased Memory BWUp to 2.3x higher memory bandwidth w/MRDIMM memory vs.5th Gen Intel Xeon processorsIncreased LLCL3 cache as large as 504 MB and with ex

5、ceptionally low latency at large L3 access sizesIntel AI SoftwareVariety of tools available for AI development across GenAI,Edge deployment and classical Machine Learning英特尔 至强：为AI工作负载提供强大性能支持Intel Advanced Matrix Extensions(Intel AMX)FP16-based models to enhance AI performanceAdvanced Vector Extens

6、ions 512(AVX-512)Unique instructions and two 512-bit fused-multiply add(FMA)units per coreAdvanced Vector Extensions 2(AVX2)New VNNI instructions and fast up/down convert for BF16 and FP16至强：为 AI 加速系统提供更优机头CPU选择机头 CPU 技术要求英特尔至强6 处理器的优势特性出色的 I/O 性能更高的单线程性能更高的内存带宽和容量为大规模系统提供 RAS 支持支持灵活的外形规格通道数提升多达 20%