跳到正文
Hugging Face Blog·· 5 天前精选AI 评分77

Hugging Face 探索在 32GB 内存设备上用 Transformers 流式推理 180B MoE 模型

180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers

AI 导读

Hugging Face 开发者通过在 Transformers 中引入 MoE 专家流式加载机制,实现了在 32GB 统一内存的 Mac 上运行 180B 参数的 Qwen3.8-Flash-Next 模型。

推荐理由

通过槽位池缓存与按需流式读取专家权重,文章展示了在消费级硬件上低显存运行百亿级 MoE 模型的工程方法。

正文 · AI 翻译

直接从 SSD 流式读取 MoE 专家权重,Token 生成速度与 Strata 的差距缩小到了 6% 以内。

最近我一直在想办法减少对云端在线模型的依赖,尽量在本地运行更大的模型。在家里,我有一台装了两张 RTX 4090 的 PC(姑且称它为 Orthrus——希腊神话里的双头犬);工作时,我则用一台配有 32GB 统一内存的 MacBook M5。

Orthrus 运行的是 Windows 11,因为孩子们老用它玩游戏。我以前配过 Ubuntu 双系统,但最后 2TB 的硬盘空间几乎全被他们的游戏占光了。

此外,我还是“移动办公”(rooms moving development)的忠实拥趸:端着咖啡在厨房写一小时代码,换到书桌前坐两小时,再去沙发上躺会儿。固定不动的台式机机箱实在不适合我。

我的第一项实验,是在 Orthrus 上通过 llama.app 运行 Qwen 3.8 27B,再从笔记本电脑上借由 pi 远程调用。这个模型负责具体编程,像 Opus 这样的在线模型负责全局调度,第二张 RTX 4090 则跑一个 FIM 模型,为 Neovim 提供代码补全。

把这套方案发到社交网络后,许多人都强烈建议我:试试用 Strata 跑 Qwen3.8-Flash-Next。

Strata 是什么?

Strata 是一款专为 Qwen 这类 MoE(混合专家)模型设计的推理引擎。它只将活跃的“热点”专家保留在显存中,其余专家则放到内存甚至磁盘上。在 MoE 模型里,专家权重占比超过 90%,因此像这种 180B 级别的庞然大物,也能跑在显存小得多的 GPU 上——比如我的 RTX 4090!

它在笔记本上同样跑得通。我偶然读到了这篇博文,里面记录的正是类似做法:在 32GB 内存的 Mac M4 上运行 Qwen3.8-Flash-Next,生成速度达 13.5 tok/s,比 llama.cpp 还要快。

按照我使用编程智能体的习惯,这个速度还是慢了点,但这确实是个值得深挖的方向。毕竟有一大批原本塞不进 MacBook 统一内存的 MoE 模型,现在完全有希望以相当不错的速度跑起来。

其他引擎是如何卸载权重的?

在敲定采用 Strata 之前,我调研了当 MoE 模型超出显存容量时,llama.cpp、vLLM 和 Transformers 各自的处理方式。关键在于搞清三个问题:专家权重存放在哪?专家矩阵乘法在哪里计算?每生成一个 Token 需要搬运什么数据?

llama.cpp 通过 mmap 映射 GGUF 文件,并能把专家保留在 CPU 端(可用 --cpu-moe、--n-cpu-moe N、-ot "exps=CPU",或交给 --fit on 自动挑选)。这些专家也会在 CPU 上完成计算,因此通过 PCIe 传输的只有激活值,无需搬运权重。如果内存能放下所有专家,这种设计效果极佳;但要是内存也装不下,页面缓存就会出现剧烈颠簸(thrashing)。虽然刚加入的 GPU 专家缓存功能(--moe-cache-mib)有所改进,但它会打碎计算图(每个 Token 的切分从 2 次激增到 50 次),哪怕显存完全装得下,性能也会损失约 10%。

vLLM 的 --cpu-offload-gb N 将 N GB 的权重存放在锁页内存(pinned RAM)中,算子通过 PCIe 原位读取。对于 MoE 层,传输的仅是被路由选中的专家,但由于没有任何缓存机制,即便某个专家频繁被命中,每生成一个 Token 也得重新走一次 PCIe,且没有磁盘层支持。默认情况下,被卸载的权重还包括每步必读的稠密层;加上 --cpu-offload-params experts 可以将其限制为仅卸载专家层。这种策略更适合大批次推理——因为大批次几乎会轮询到所有专家——却不太适合单 GPU、单用户的场景。

Transformers 通过 Accelerate(device_map="auto"、offload_folder)进行卸载,每次处理一个模块:在执行 forward 之前,通过钩子(hook)把该模块的权重拷入 GPU。对于 MoE 来说,这个“模块”就是某一层的整组专家库,这意味着每生成一个 Token,哪怕只用到其中的 8 到 10 个专家,它也会把所有被卸载层的全部专家统统复制一遍。这里既无缓存,也没有路由感知。而且在 Mac 上,CPU 和 GPU 共享同一块内存,所谓的“卸载到 CPU”根本释放不出任何空间。

我在一块配有充足内存的 A10G(24 GB)上,用 Qwen3.6-35B-A3B 运行了所有方案,Harry Mellor 则调整了参数重新跑了一遍 vLLM:

引擎 解码速度(tok/s)
Strata, Q8_0 82 - 88
llama.cpp, Q8_0, --fit on 63 - 64
llama.cpp, BF16, --fit on 35 - 36
vLLM, FP8, --cpu-offload-gb 16 --cpu-offload-params experts 20.1
vLLM, FP8, 相同参数, --enforce-eager 14.7
vLLM, FP8, --cpu-offload-gb 16 9.7
vLLM, BF16, --cpu-offload-gb 50 --cpu-offload-params experts 7.3
vLLM, BF16, --cpu-offload-gb 50 3.3
Transformers + Accelerate 0.16

仅卸载专家层让 vLLM 的速度翻了一番,再加上 FP8 的加持(每个专家占用的字节数减半,更多模型权重可留在 GPU 上),性能进一步提升。相比之下,vLLM 另一种预先按层组复制的卸载后端,跑起来还不到 1 tok/s。

如果内存能装下全部专家层,llama.cpp 几乎无人能敌。但如果装不下,就必须通过受限缓存,只流式加载路由模块选中的专家,同时速度要足够快,让瓶颈落在 SSD 而非 Python 上,最好还能复用模型原有的快速专家算子。在 32 GB 内存的 Mac 上跑 Qwen3.8-Flash-Next 面临的正是这种局面,而原生 Transformers 根本无法胜任。

用 Transformers 在 32 GB Mac 上跑通 Qwen3.8-Flash-Next

在笔记本上,Strata 的速度对我而言已经慢得难以忍受,而 Transformers 更是难望其项背。但 Accelerate 这条路径的表现实在太差,于是我决定拿笔记本上的大模型作为目标,尝试从 Transformers 本身着手改造卸载逻辑——尽管心里清楚,最终的速度大概率还是跟不上我的日常工作节奏。

所有代码均由 AI 编写完成:包括 Transformers PR、模型专属包以及 Metal 算子。我的职责则是决定尝试方向、分析性能剖析数据并拍板保留哪些改动。所有内容均已开源在 Hugging Face Space:tarekziade/moe-expert-streaming。

从小模型起步

我先从可以完整载入内存的 OLMoE-1B-7B 入手,这样能逐个 token 与原生 Transformers 进行结果比对。

第一个版本:专家权重保存在磁盘上,设备上建一个 LRU 缓存,用一段 Python 循环逐个执行专家。在所有专家都已命中缓存的情况下,速度只有 10.1 tok/s,而原生版本约为 32 tok/s。问题不在 I/O,而是出在我的 Python 循环上:原生版本使用的是 grouped_mm,能在单个算子中一次性跑完一整层的所有专家。

解决方案——也是本项目最核心的构想——是将缓存做成槽位池(slot pool):在设备上预分配一个由所有层共享的张量,并为每层维护一张专家 ID 到槽位的映射表。只要将路由模块给出的专家 ID 重新映射到对应的槽位,整个槽位池看起来就和常规专家权重库无异,grouped_mm 也就能直接在其上运行,无需手写定制的专家矩阵乘法算子。这样一来,速度达到了 34.6 tok/s,与原生版本的 38.1 tok/s 已相差无几。

experts_offload

随后,我在 huggingface/transformers#50717 中将这个独立的加载器整合成了 from_pretrained 的一个配置项。如需体验,可以直接安装该 PR 分支的 Transformers:

pip install "git+https://github.com/huggingface/transformers.git@refs/pull/50717/head"

接下来,告别 OLMoE,转向真正的攻坚目标——Qwen3.8-Flash-Next:

path = snapshot_download("tarekziade/Qwen3.8-Flash-Next-expert-streaming")

model = AutoModelForCausalLM.from_pretrained(
    f"{path}/dense",
    dtype=torch.bfloat16,
    device_map={"": "mps", "experts.*": "disk"},
    quantization_config=MetalConfig(bits=8),
    experts_offload={
        "cache_bytes": 12 << 30,
        "quantized_experts": f"{path}/experts-q3",
    },
)

该仓库存放了本项目转换脚本输出的成果:包括稠密层权重、量化至 3 位的专家层,以及 n-gram 表。

映射到 "disk" 的专家会走流式加载通道,而不再走 Accelerate 的卸载路径:加载器直接跳过对应张量,MoE 层则切换为卸载模式的实现。未命中缓存时,由 8 个 I/O 线程负责读取,每个专家做一次连续读取。同时,后续两层的路由模块会基于当前的隐藏状态提前运算,预判并预取接下来需要的专家。专家权重支持离线量化,从而减少读取数据量。该方案适用于采用标准专家布局的各类 MoE 模型。

相关 API 目前仍在与 Transformers 维护团队探讨中。device_map 的形式正是讨论后的产物,而量化专家的接入方案大概率会整合进 #50245 的按层量化规划,而不是保留为一个独立选项。

在 32 GB 内存的 Mac 上运行 121 GB 的 MoE 专家权重

Qwen3.8-Flash-Next 拥有 48 层、每层 512 个专家(其中 10 个激活),FP8 格式下体积达 121 GB。仅仅流式传输专家权重还不够,还有一个 51 GB 的 n-gram 嵌入表也需要走独立磁盘路径读取。因此我的方案是:

  • 专家权重做 3-bit 量化:磁盘占用 49 GB,设备端缓存 12 GiB
  • 稠密层采用 8-bit 量化(约 5.4 GB,相比 BF16 困惑度增加 0.2%)
  • n-gram 嵌入表保留在磁盘中,按需读取行数据

权重转换耗时约 5 小时。加载后占用内存约 18 GiB,处理 6K 长度的提示词时峰值达到 25.4 GiB。这几乎已达极限:我必须关掉浏览器,否则 macOS 就会开始频繁换页。

针对该模型的专属代码(n-gram 表、Metal 内核)封装在了一个小项目 moe-expert-streaming 中,挂在对应 PR 之上运行。最初版本的运行速度大约在 10 tok/s。

随后我在同一台 M5 设备上安装了 Strata,使用相同的提示词进行测试:

Transformers Strata 差距
解码,200 个 token 10.0 tok/s 14.8 1.5 倍
预填充,4K 提示词 68 tok/s 220 3.2 倍
6K 文档后解码 7.3 tok/s 13.7 1.9 倍

Strata 0.1.60 使用了 IQ3_XXS 专家权重。两边均采用贪婪采样,关闭了深度思考、MTP 以及投机草稿,预填充块大小设为 1,024 个 token。完整的测试配置与原始数据可查看 Space 的详情页面。

我还测试了 vllm-metal(通过 MLX 在苹果 GPU 上运行的 vLLM),它最近加入了专家卸载功能。和本项目类似,它也通过一个容量受限的缓存从 MLX 检查点中流式加载被路由选中的专家。但它无法在 32 GB 内存的机器上跑起 Qwen3.8-Flash-Next,原因还是上面提到的 n-gram 表:它只流式传输专家权重,n-gram 表依旧常驻内存。Hub 上的 MLX 检查点里该表就占了 32 GB,还没算大约 5 GB 的稠密层和任何专家缓存。

缩小差距

大部分时间其实并没有花在专家计算上。以下是行之有效的优化手段:

  • 尽早提交 GPU 任务。MPS 上的 PyTorch 会把小内核积攒到下一次同步才处理,导致 Python 运行期间 GPU 一直处于空闲状态。在每个 block 之后强制提交任务带来了 10% 的性能提升。这个问题确实应该在 PyTorch 官方修复。
  • 针对 macOS 缺少快速路径的组件编写 Metal 内核:包括 Gated DeltaNet 和超连接(hyper-connections)。
  • 改用 Strata 自己的权重。我切换到了 Strata 的 GGUF 权重,将每个 token 的稠密层权重传输量从 5.4 GB 降至 3.9 GB,单个专家权重也从 2.15 MB 缩减至 1.75 MB,并为不同大小的专家设置了独立的缓存池。
  • 在预填充阶段,通过使用更大的分块,并在计算当前层的同时预读下一层的专家,速度从 68 提升到了约 228 tok/s。
  • 长文档优化:注意力机制仅计算索引器选中的块,并将 KV 缓存改为原地扩容,避免在每个 token 时都进行整份复制。
  • 缓存未命中优化:Strata 并没有什么黑魔法来掩盖未命中开销,遇到未命中同样只能等待,而且没有哪种缓存淘汰策略能明显优于 LRU。真正起效的做法是:在 SSD 本会闲置的间隙,为每层预先读取一个预测可能用到的专家。

下面是单个 token 执行某一个 MoE 层时的实际运行过程:

For one layer and one token, the router picks 10 of 512 experts. Eight are already in the expert cache and two are read from the SSD into free cache slots. The experts then run on the GPU from the cache slots, while the SSD reads one guessed expert for the next layer, which enters the cache only if it's used.

经过上述优化后,在同一台 M5 上使用相同提示词测得的最终结果如下:

Transformers Strata 差距
解码,200 个 token 13.9 tok/s 14.8 1.06 倍
预填充,4K 提示词 228 tok/s 220 1.0 倍
6K 文档后解码 12.4 tok/s 13.7 1.1 倍

短文本解码只比 Strata 慢了约 6%,预填充速度还略有胜出,而这一切都是完全基于 Transformers 实现的。

剩下的耗时大多花在主机往返上,每个 token 约为 10 毫秒。其中同步后的唤醒只占约 1 毫秒,其余时间都是因为 Python 还在排队提交下一层任务,导致 GPU 处于闲置状态。Strata 的做法是一次性把整个 token 的计算任务预先排好队,当主机在读取专家权重时,GPU 会在每一层等待 Metal 共享事件。PyTorch 并未开放这一接口。我曾尝试用一个轮询 CPU 写入标志位的 kernel 来模拟这种效果,结果 GPU 延迟了一秒甚至永远读不到 CPU 写入的内容。真正的解决方法是在 PyTorch 的 MPS 流上实现原生算子,但这存在死锁风险,所以我没有继续开发。

结语

它的运行速度大约是 14 tok/s,与 Strata 相差无几,但就我使用编程智能体的习惯而言,这个速度依然偏慢。实际干活还是得靠 Orthrus。

Transformers 没能超越 Strata,而要想抹平最后这约 6% 的差距,需要对整个技术栈做出更深层的改动,首先就得获得对逐层同步的控制权,而这一点 PyTorch 目前还无法实现。真正有趣的是我们如何能逼近这一成绩:只流式加载被路由选中的专家、一个 grouped_mm 能直接在其上运行的有限缓存,再加上几个针对性优化的 Metal kernel。本项目完全没有使用 C++ 扩展,仅凭 Python、利用 torch.mps.compile_shader 在运行时编译的 Metal kernel,以及来自 Hub 上的预编译 kernel 便达成了这一目标。本次实验编写的所有 Metal kernel 现已发布至 Hub,项目会直接从那里加载。

不过,超越 Strata 从来就不是唯一的目的。搭建这套方案本身就是从系统层面深入理解 MoE 和大语言模型运作机制的绝佳途径:亲身体验路由机制究竟有多稀疏、专家缓存能带来多大收益、每个 token 的内存带宽消耗在何处,以及主机与 GPU 之间相互等待的时间开销。而借助 Transformers,我们可以轻松地逐个模块拆解、探索这些问题。

通用的专家流式加载实现见 huggingface/transformers#50717,性能基准测试结果已发布在 Space。非常欢迎大家对该方案及 API 设计提出反馈。

感谢 Pedro、Lysandre 和 Arthur 提供的宝贵意见,也感谢 Harry 协助测试 vLLM。

最后,感谢 Niko Veit 开发了 Strata。Strata 为消费级硬件上的专家流式加载树立了标杆,正是有了这一标杆数据作为追赶目标,才促使这项工作走到了今天。

来源:Hugging Face Blog · huggingface.co

EVAOO 主站实战落地 · 大模型与 AI 内容工程

看完情报?回到 EVAOO 主站直接上手工具与完整 SOP

返回 EVAOO 主站