H100与H200在1k输入token、19k输出token上运行对token经济性的改进-行业数据

B300 内存的改进对于 OpenAI o3 风格的 LLM 推理训练和推理至关重要，NVL72 助力推理模型。由于长序列长度会增加 KVCache，从而限制关键批次大小和延迟，因此内存的改进是 OpenAI o3 风格 LLM 推理训练和推理的关键。以 H200 与 H100 为例，由于内存带宽更大，所有可比批次大小的交互性普遍提高了 43%（H200 4.8TB/s vs H100 3.35TB /s）。由于 H200 运行的批处理大小比 H100 大，每秒可生成 3 倍的 token，因此成本降低了约 3 倍，更大的内存容量所带来的动态效益较大。NVL72 系统的性能和成本将大幅提升，在推理中能依让 72 个 GPU 以极低的延迟处理同一个问题，共享内存，更高的交互性使得每个思路链的延迟更低，72 个 GPU 分散 KVCache，以实现更长的思维链（提高智能）。与典型的 8 GPU 服务器相比，批量大小扩展效果更好，从而降低成本。使用 NVL72 的 token 经济性要好 10 倍以上，尤其是在长推理链上。