NVIDIA Vera Rubin 架构首秀 MLPerf 基准测试,训练与智能体推理成绩领先
NVIDIA Sweeps MLPerf Training and Endpoints as Vera Rubin Debuts With Leading Performance
NVIDIA 公布 Vera Rubin 平台在 MLPerf Training v6.1 与 MLPerf Endpoints 的首测成绩,包揽全部训练基准并提升智能体推理能效。
公布的扩展效率与能效比数据,可为评估大模型训练与智能体推理的集群硬件选型提供量化参考。
在今日公布的 MLPerf 基准测试最新成绩中,首次亮相的 NVIDIA Vera Rubin 平台在训练、后训练和智能体推理等各项评测中均展现出领先的性能表现。
NVIDIA 横扫了 MLPerf Training v6.1 的各项基准测试。同时,在首次提交的 MLPerf Endpoints 成绩中,该平台在智能体 AI 的每瓦吞吐量上实现了超过 10 倍的跨代提升——该指标衡量的是系统每消耗一瓦电力所能完成的智能体工作任务量。
这还只是个开始。随着 NVIDIA 对基于 CUDA 的软件栈持续进行优化,Vera Rubin 的性能还将进一步攀升,让客户今天投资的基础设施在未来能够持续释放更大价值。
NVIDIA 横扫 MLPerf Training v6.1 评测
如今,AI 智能体已无处不在:它们编写代码、驱动业务工作流、解答客户咨询,而且正如本周 SC26 大会所展示的那样,它们还在推动科学研究向前发展。
更快的训练速度意味着更聪明的智能体能更快交付给用户,药物研发模型能够及时跟进最新的实验数据,欺诈检测模型也能更敏捷地应对新型威胁。
MLPerf Training 用于衡量一套系统将一系列 AI 模型训练至目标精度时的速度。
NVIDIA 平台是本轮唯一在所有基准测试中均有成绩提交的平台,覆盖大语言模型、图像生成、推荐系统以及强化学习后训练等领域。首次亮相的 Vera Rubin NVL72 单 GPU 性能相比高度优化的 NVIDIA GB300 NVL72 系统最高提升至 2 倍——这一早期测试成绩充分展示了其代际创新的飞快步伐。

NVIDIA 还展示了其在大规模集群下的性能扩展能力。在 DeepSeek-V3 基准测试中,Vera Rubin NVL72 从 256 颗 GPU 扩展至 1,024 颗 GPU,扩展效率高达约 97%:GPU 数量翻了两番,训练时间则从 16 分钟缩短至约 4 分钟。
此外,NVIDIA 还在搭载 GB300 系统的 10,240 颗 GPU 上运行了该基准测试,创下本轮测试的最大规模;微软 Azure 也采用搭载 GB200 系统的 10,240 颗 NVIDIA GPU 达到了相同的规模。
这种规模下的测试成绩至关重要,因为只有各 GPU 之间能够高效协同,增加 GPU 数量才能真正加快训练速度。NVIDIA NVLink 纵向扩展网络将每台系统内的 GPU 紧密相连、融为一体,而 NVIDIA Quantum-X800 InfiniBand 与 Spectrum-X 以太网横向扩展网络则在数据中心内将这些系统联结成网。配合优化的软件栈,数千颗 GPU 能够紧密协作,在缩短训练时间的同时,助力开发者打造出更强大的智能模型。
NVIDIA Vera Rubin 领跑 MLPerf Endpoints 智能体推理评测
无论是规划并预订整套行程的旅游 AI 智能体,还是在有人提工单前就排查并修复故障的 IT 智能体,往往都需要经过多次推理、调用工具并反复核对,才能完成一项任务。
每一步都会生成 token。在 AI 数据中心受限于电力供应的背景下,系统每瓦功耗每秒能生成的 token 越多,能够支撑的智能体数量就越多,创造的价值也就越大。
MLPerf Endpoints 针对真实的智能体代码编写和企业级工作流对系统展开测试,并核验智能体是否仍能正确完成任务。NVIDIA Vera Rubin 在该项测试的所有智能体基准测试中均位居榜首。
例如,在专为智能体工作流打造的大型开源模型 Kimi K3 的初步测试结果中,在响应速度相同的情况下,Vera Rubin NVL72 系统的每瓦吞吐量达到了 NVIDIA GB300 NVL72 的 10 倍以上。

所有 AI 服务都必须在高并发服务多用户与确保每位用户的快速响应之间做出权衡。Vera Rubin 则全面重塑了这条平衡曲线,不仅服务用户更多,响应速度也更快。
领跑各项基准测试与工作负载
NVIDIA 合作伙伴广泛参与了 MLPerf Training,共有 20 家机构提交了测试结果: ASUS、Azure、Cisco、CoreWeave、Crusoe、Dell Technologies、Firmus、Giga Computing、Google Cloud、HPE、Inventec、Krai、Lambda、Nebius、Oracle、Quanta Cloud Technology (QCT)、Supermicro、TTA 以及佛罗里达大学(University of Florida)。
这些提交的结果展现了 NVIDIA 可编程平台如何搭配开源库与框架,赋能庞大的合作伙伴生态持续创新并优化 AI 训练性能。
领先优势不仅限于 MLPerf。
Vera Rubin 在 SemiAnalysis AgentX 和 Artificial Analysis AgentPerf 等独立基准测试中同样表现出众,充分展现了同一套 NVIDIA 基础架构不仅能高效支持从预训练、后训练到智能体推理的全部环节,还能兼顾 AI 之外的工作负载,例如本周在 SC26 上展示的高性能计算任务。
欲深入了解各项结果,请参阅 MLPerf Training 与 MLPerf Endpoints 技术博客。
来源:NVIDIA Blog · blogs.nvidia.com