Hugging Face 探索在 32GB 内存设备上用 Transformers 流式推理 180B MoE 模型
180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformers
Hugging Face 开发者通过在 Transformers 中引入 MoE 专家流式加载机制,实现了在 32GB 统一内存的 Mac 上运行 180B 参数的 Qwen3.8-Flash-Next 模型。
通过槽位池缓存与按需流式读取专家权重,文章展示了在消费级硬件上低显存运行百亿级 MoE 模型的工程方法。
直接从 SSD 流式读取 MoE 专家权重,Token 生成速度与 Strata 的差距缩小到了 6% 以内。
最近我一直在想办法减少对云端在线模型的依赖,尽量在本地运行更大的模型。在家里,我有一台装了两张 RTX 4090 的 PC(姑且称它为 Orthrus——希腊神话里的双头犬);工作时,我则用一台配有 32GB 统一内存的 MacBook M5。
Orthrus 运行的是 Windows 11,因为孩子们老用它玩游戏。我以前配过 Ubuntu 双系统,但最后 2TB 的硬盘空间几乎全被他们的游戏占光了。
此外,我还是“移动办公”(rooms moving development)的忠实拥趸:端着咖啡在厨房写一小时代码,换到书桌前坐两小时,再去沙发上躺会儿。固定不动的台式机机箱实在不适合我。
我的第一项实验,是在 Orthrus 上通过 llama.app 运行 Qwen 3.8 27B,再从笔记本电脑上借由 pi 远程调用。这个模型负责具体编程,像 Opus 这样的在线模型负责全局调度,第二张 RTX 4090 则跑一个 FIM 模型,为 Neovim 提供代码补全。
把这套方案发到社交网络后,许多人都强烈建议我:试试用 Strata 跑 Qwen3.8-Flash-Next。
Strata 是什么?
Strata 是一款专为 Qwen 这类 MoE(混合专家)模型设计的推理引擎。它只将活跃的“热点”专家保留在显存中,其余专家则放到内存甚至磁盘上。在 MoE 模型里,专家权重占比超过 90%,因此像这种 180B 级别的庞然大物,也能跑在显存小得多的 GPU 上——比如我的 RTX 4090!
它在笔记本上同样跑得通。我偶然读到了这篇博文,里面记录的正是类似做法:在 32GB 内存的 Mac M4 上运行 Qwen3.8-Flash-Next,生成速度达 13.5 tok/s,比 llama.cpp 还要快。
按照我使用编程智能体的习惯,这个速度还是慢了点,但这确实是个值得深挖的方向。毕竟有一大批原本塞不进 MacBook 统一内存的 MoE 模型,现在完全有希望以相当不错的速度跑起来。
其他引擎是如何卸载权重的?
在敲定采用 Strata 之前,我调研了当 MoE 模型超出显存容量时,llama.cpp、vLLM 和 Transformers 各自的处理方式。关键在于搞清三个问题:专家权重存放在哪?专家矩阵乘法在哪里计算?每生成一个 Token 需要搬运什么数据?
llama.cpp 通过 mmap 映射 GGUF 文件,并能把专家保留在 CPU 端(可用 --cpu-moe、--n-cpu-moe N、-ot "exps=CPU",或交给 --fit on 自动挑选)。这些专家也会在 CPU 上完成计算,因此通过 PCIe 传输的只有激活值,无需搬运权重。如果内存能放下所有专家,这种设计效果极佳;但要是内存也装不下,页面缓存就会出现剧烈颠簸(thrashing)。虽然刚加入的 GPU 专家缓存功能(--moe-cache-mib)有所改进,但它会打碎计算图(每个 Token 的切分从 2 次激增到 50 次),哪怕显存完全装得下,性能也会损失约 10%。
vLLM 的 --cpu-offload-gb N 将 N GB 的权重存放在锁页内存(pinned RAM)中,算子通过 PCIe 原位读取。对于 MoE 层,传输的仅是被路由选中的专家,但由于没有任何缓存机制,即便某个专家频繁被命中,每生成一个 Token 也得重新走一次 PCIe,且没有磁盘层支持。默认情况下,被卸载的权重还包括每步必读的稠密层;加上 --cpu-offload-params experts 可以将其限制为仅卸载专家层。这种策略更适合大批次推理——因为大批次几乎会轮询到所有专家——却不太适合单 GPU、单用户的场景。
Transformers 通过 Accelerate(device_map="auto"、offload_folder)进行卸载,每次处理一个模块:在执行 forward 之前,通过钩子(hook)把该模块的权重拷入 GPU。对于 MoE 来说,这个“模块”就是某一层的整组专家库,这意味着每生成一个 Token,哪怕只用到其中的 8 到 10 个专家,它也会把所有被卸载层的全部专家统统复制一遍。这里既无缓存,也没有路由感知。而且在 Mac 上,CPU 和 GPU 共享同一块内存,所谓的“卸载到 CPU”根本释放不出任何空间。
我在一块配有充足内存的 A10G(24 GB)上,用 Qwen3.6-35B-A3B 运行了所有方案,Harry Mellor 则调整了参数重新跑了一遍 vLLM:
| 引擎 | 解码速度(tok/s) |
|---|---|
| Strata, Q8_0 | 82 - 88 |
llama.cpp, Q8_0, --fit on |
63 - 64 |
llama.cpp, BF16, --fit on |
35 - 36 |
vLLM, FP8, --cpu-offload-gb 16 --cpu-offload-params experts |
20.1 |
vLLM, FP8, 相同参数, --enforce-eager |
14.7 |
vLLM, FP8, --cpu-offload-gb 16 |
9.7 |
vLLM, BF16, --cpu-offload-gb 50 --cpu-offload-params experts |
7.3 |
vLLM, BF16, --cpu-offload-gb 50 |
3.3 |
| Transformers + Accelerate | 0.16 |
仅卸载专家层让 vLLM 的速度翻了一番,再加上 FP8 的加持(每个专家占用的字节数减半,更多模型权重可留在 GPU 上),性能进一步提升。相比之下,vLLM 另一种预先按层组复制的卸载后端,跑起来还不到 1 tok/s。
如果内存能装下全部专家层,llama.cpp 几乎无人能敌。但如果装不下,就必须通过受限缓存,只流式加载路由模块选中的专家,同时速度要足够快,让瓶颈落在 SSD 而非 Python 上,最好还能复用模型原有的快速专家算子。在 32 GB 内存的 Mac 上跑 Qwen3.8-Flash-Next 面临的正是这种局面,而原生 Transformers 根本无法胜任。
用 Transformers 在 32 GB Mac 上跑通 Qwen3.8-Flash-Next
在笔记本上,Strata 的速度对我而言已经慢得难以忍受,而 Transformers 更是难望其项背。但 Accelerate 这条路径的表现实在太差,于是我决定拿笔记本上的大模型作为目标,尝试从 Transformers 本身着手改造卸载逻辑——尽管心里清楚,最终的速度大概率还是跟不上我的日常工作节奏。
所有代码均由 AI 编写完成:包括 Transformers PR、模型专属包以及 Metal 算子。我的职责则是决定尝试方向、分析性能剖析数据并拍板保留哪些改动。所有内容均已开源在 Hugging Face Space:tarekziade/moe-expert-streaming。
从小模型起步
我先从可以完整载入内存的 OLMoE-1B-7B 入手,这样能逐个 token 与原生 Transformers 进行结果比对。
第一个版本:专家权重保存在磁盘上,设备上建一个 LRU 缓存,用一段 Python 循环逐个执行专家。在所有专家都已命中缓存的情况下,速度只有 10.1 tok/s,而原生版本约为 32 tok/s。问题不在 I/O,而是出在我的 Python 循环上:原生版本使用的是 grouped_mm,能在单个算子中一次性跑完一整层的所有专家。
解决方案——也是本项目最核心的构想——是将缓存做成槽位池(slot pool):在设备上预分配一个由所有层共享的张量,并为每层维护一张专家 ID 到槽位的映射表。只要将路由模块给出的专家 ID 重新映射到对应的槽位,整个槽位池看起来就和常规专家权重库无异,grouped_mm 也就能直接在其上运行,无需手写定制的专家矩阵乘法算子。这样一来,速度达到了 34.6 tok/s,与原生版本的 38.1 tok/s 已相差无几。
experts_offload
随后,我在 huggingface/transformers#50717 中将这个独立的加载器整合成了 from_pretrained 的一个配置项。如需体验,可以直接安装该 PR 分支的 Transformers:
pip install "git+https://github.com/huggingface/transformers.git@refs/pull/50717/head"
接下来,告别 OLMoE,转向真正的攻坚目标——Qwen3.8-Flash-Next:
path = snapshot_download("tarekziade/Qwen3.8-Flash-Next-expert-streaming")
model = AutoModelForCausalLM.from_pretrained(
f"{path}/dense",
dtype=torch.bfloat16,
device_map={"": "mps", "experts.*": "disk"},
quantization_config=MetalConfig(bits=8),
experts_offload={
"cache_bytes": 12 << 30,
"quantized_experts": f"{path}/experts-q3",
},
)
该仓库存放了本项目转换脚本输出的成果:包括稠密层权重、量化至 3 位的专家层,以及 n-gram 表。
映射到 "disk" 的专家会走流式加载通道,而不再走 Accelerate 的卸载路径:加载器直接跳过对应张量,MoE 层则切换为卸载模式的实现。未命中缓存时,由 8 个 I/O 线程负责读取,每个专家做一次连续读取。同时,后续两层的路由模块会基于当前的隐藏状态提前运算,预判并预取接下来需要的专家。专家权重支持离线量化,从而减少读取数据量。该方案适用于采用标准专家布局的各类 MoE 模型。
相关 API 目前仍在与 Transformers 维护团队探讨中。device_map 的形式正是讨论后的产物,而量化专家的接入方案大概率会整合进 #50245 的按层量化规划,而不是保留为一个独立选项。
在 32 GB 内存的 Mac 上运行 121 GB 的 MoE 专家权重
Qwen3.8-Flash-Next 拥有 48 层、每层 512 个专家(其中 10 个激活),FP8 格式下体积达 121 GB。仅仅流式传输专家权重还不够,还有一个 51 GB 的 n-gram 嵌入表也需要走独立磁盘路径读取。因此我的方案是:
- 专家权重做 3-bit 量化:磁盘占用 49 GB,设备端缓存 12 GiB
- 稠密层采用 8-bit 量化(约 5.4 GB,相比 BF16 困惑度增加 0.2%)
- n-gram 嵌入表保留在磁盘中,按需读取行数据
权重转换耗时约 5 小时。加载后占用内存约 18 GiB,处理 6K 长度的提示词时峰值达到 25.4 GiB。这几乎已达极限:我必须关掉浏览器,否则 macOS 就会开始频繁换页。
针对该模型的专属代码(n-gram 表、Metal 内核)封装在了一个小项目 moe-expert-streaming 中,挂在对应 PR 之上运行。最初版本的运行速度大约在 10 tok/s。
随后我在同一台 M5 设备上安装了 Strata,使用相同的提示词进行测试:
| Transformers | Strata | 差距 | |
|---|---|---|---|
| 解码,200 个 token | 10.0 tok/s | 14.8 | 1.5 倍 |
| 预填充,4K 提示词 | 68 tok/s | 220 | 3.2 倍 |
| 6K 文档后解码 | 7.3 tok/s | 13.7 | 1.9 倍 |
Strata 0.1.60 使用了 IQ3_XXS 专家权重。两边均采用贪婪采样,关闭了深度思考、MTP 以及投机草稿,预填充块大小设为 1,024 个 token。完整的测试配置与原始数据可查看 Space 的详情页面。
我还测试了 vllm-metal(通过 MLX 在苹果 GPU 上运行的 vLLM),它最近加入了专家卸载功能。和本项目类似,它也通过一个容量受限的缓存从 MLX 检查点中流式加载被路由选中的专家。但它无法在 32 GB 内存的机器上跑起 Qwen3.8-Flash-Next,原因还是上面提到的 n-gram 表:它只流式传输专家权重,n-gram 表依旧常驻内存。Hub 上的 MLX 检查点里该表就占了 32 GB,还没算大约 5 GB 的稠密层和任何专家缓存。
缩小差距
大部分时间其实并没有花在专家计算上。以下是行之有效的优化手段:
- 尽早提交 GPU 任务。MPS 上的 PyTorch 会把小内核积攒到下一次同步才处理,导致 Python 运行期间 GPU 一直处于空闲状态。在每个 block 之后强制提交任务带来了 10% 的性能提升。这个问题确实应该在 PyTorch 官方修复。
- 针对 macOS 缺少快速路径的组件编写 Metal 内核:包括 Gated DeltaNet 和超连接(hyper-connections)。
- 改用 Strata 自己的权重。我切换到了 Strata 的 GGUF 权重,将每个 token 的稠密层权重传输量从 5.4 GB 降至 3.9 GB,单个专家权重也从 2.15 MB 缩减至 1.75 MB,并为不同大小的专家设置了独立的缓存池。
- 在预填充阶段,通过使用更大的分块,并在计算当前层的同时预读下一层的专家,速度从 68 提升到了约 228 tok/s。
- 长文档优化:注意力机制仅计算索引器选中的块,并将 KV 缓存改为原地扩容,避免在每个 token 时都进行整份复制。
- 缓存未命中优化:Strata 并没有什么黑魔法来掩盖未命中开销,遇到未命中同样只能等待,而且没有哪种缓存淘汰策略能明显优于 LRU。真正起效的做法是:在 SSD 本会闲置的间隙,为每层预先读取一个预测可能用到的专家。
下面是单个 token 执行某一个 MoE 层时的实际运行过程:
经过上述优化后,在同一台 M5 上使用相同提示词测得的最终结果如下:
| Transformers | Strata | 差距 | |
|---|---|---|---|
| 解码,200 个 token | 13.9 tok/s | 14.8 | 1.06 倍 |
| 预填充,4K 提示词 | 228 tok/s | 220 | 1.0 倍 |
| 6K 文档后解码 | 12.4 tok/s | 13.7 | 1.1 倍 |
短文本解码只比 Strata 慢了约 6%,预填充速度还略有胜出,而这一切都是完全基于 Transformers 实现的。
剩下的耗时大多花在主机往返上,每个 token 约为 10 毫秒。其中同步后的唤醒只占约 1 毫秒,其余时间都是因为 Python 还在排队提交下一层任务,导致 GPU 处于闲置状态。Strata 的做法是一次性把整个 token 的计算任务预先排好队,当主机在读取专家权重时,GPU 会在每一层等待 Metal 共享事件。PyTorch 并未开放这一接口。我曾尝试用一个轮询 CPU 写入标志位的 kernel 来模拟这种效果,结果 GPU 延迟了一秒甚至永远读不到 CPU 写入的内容。真正的解决方法是在 PyTorch 的 MPS 流上实现原生算子,但这存在死锁风险,所以我没有继续开发。
结语
它的运行速度大约是 14 tok/s,与 Strata 相差无几,但就我使用编程智能体的习惯而言,这个速度依然偏慢。实际干活还是得靠 Orthrus。
Transformers 没能超越 Strata,而要想抹平最后这约 6% 的差距,需要对整个技术栈做出更深层的改动,首先就得获得对逐层同步的控制权,而这一点 PyTorch 目前还无法实现。真正有趣的是我们如何能逼近这一成绩:只流式加载被路由选中的专家、一个 grouped_mm 能直接在其上运行的有限缓存,再加上几个针对性优化的 Metal kernel。本项目完全没有使用 C++ 扩展,仅凭 Python、利用 torch.mps.compile_shader 在运行时编译的 Metal kernel,以及来自 Hub 上的预编译 kernel 便达成了这一目标。本次实验编写的所有 Metal kernel 现已发布至 Hub,项目会直接从那里加载。
不过,超越 Strata 从来就不是唯一的目的。搭建这套方案本身就是从系统层面深入理解 MoE 和大语言模型运作机制的绝佳途径:亲身体验路由机制究竟有多稀疏、专家缓存能带来多大收益、每个 token 的内存带宽消耗在何处,以及主机与 GPU 之间相互等待的时间开销。而借助 Transformers,我们可以轻松地逐个模块拆解、探索这些问题。
通用的专家流式加载实现见 huggingface/transformers#50717,性能基准测试结果已发布在 Space。非常欢迎大家对该方案及 API 设计提出反馈。
感谢 Pedro、Lysandre 和 Arthur 提供的宝贵意见,也感谢 Harry 协助测试 vLLM。
最后,感谢 Niko Veit 开发了 Strata。Strata 为消费级硬件上的专家流式加载树立了标杆,正是有了这一标杆数据作为追赶目标,才促使这项工作走到了今天。
来源:Hugging Face Blog · huggingface.co