NVIDIA 解读如何通过全栈协同设计化解 AI 内存瓶颈

NVIDIA 详解了通过芯片、互联与软件全栈协同设计应对大模型与智能体推理显存压力的技术路径，强调不能仅依靠单纯堆叠 GPU 的 HBM 容量。该方案通过 NVFP4 格式压缩模型权重与 KV cache、在 NVL72 系统内分布式存放，并依托 Dynamo 软件将闲置上下文分层卸载至 CPU 内存与低成本 CMX 存储，同时使 RAG 索引常驻 HBM 之外。