跳到正文
Hugging Face Blog·· 3 天前精选AI 评分79

Thinking Machines Lab 联合 Hugging Face 发布端侧多模态模型 Inkling 2 Mini

Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setup

AI 导读

Thinking Machines Lab 联合 Hugging Face 发布面向本地部署的多模态模型 Inkling 2 Mini,支持 1M token 上下文及图文输入。

推荐理由

原文详述了中间层循环复用权重以压缩物理参数的结构设计,为本地端侧 MoE 架构优化提供了具体工程参考。

正文 · AI 翻译

简要概述:Inkling 2 Mini 是一款全新的循环 Transformer(looped transformer)多模态混合专家(MoE)模型,拥有约 26B 物理总参数量,每个 token 的激活参数为 3B。该模型采用了一种巧妙的方法来扩展容量:部分网络层会在循环中重复执行三次,从而在实际运行中发挥出更多参数的效果。它支持 1M token 上下文窗口,兼顾图像与文本输入。Thinking Machines Lab 推出了混合精度格式的模型权重,专家层权重采用 NVFP4 和 MXFP8 格式。同时还内置了 DSpark 推测解码模型(drafter),只需占用极少显存即可进一步提升生成速度。

Inkling 2 Mini 的体量远小于 Inkling 2 Small,专为本地 AI 部署场景打造。我们认为这是一款令人眼前一亮的全新优秀本地模型。在我们自身的使用体验测试中,它的表现至少可以媲美 Qwen 3.8 27B。尽管还需要进行更全面的评测验证,但这次发布确实非常令人振奋!

我们已同步提供对 transformers、Llama App(llama.cpp)以及 MLX 的支持;SGLang 也已实现首日推理支持,方便在数据中心硬件上进行生产级部署。

本文将详细介绍 Inkling Mini 的与众不同之处、我们进行的部分体感测试,以及如何在你的设备上运行该模型。

Inkling 2 Mini 有哪些新特性?

Inkling 2 Mini 是一款包含 24 个解码器层的混合专家模型,但其中间的 12 层会循环运行三次。因此,该模型仅凭 24 个物理层,就能发挥出相当于 48(6+ 3*12 + 6)个逻辑层的效果。

与 Inkling 2 Small 类似,Inkling 2 Mini 每个 token 同样会经历 48 次层访问。其隐藏层维度由 4,608 缩减至 2,304。在每次层访问中,两款模型都会将 token 路由至 8 个专家,不过 Mini 每层从 128 个专家中选取,而 Small 则从 384 个中选取。
解码器会按如下方式运行:第 0–5 层运行一次,第 6–17 层循环运行三次,第 18–23 层运行一次。第 6–17 层在三次循环中复用相同的权重。

此前 Nanbeige 等架构也曾探索过循环机制,而 Inkling 2 Mini 则采用了一种颇具新意的方式。每次进入循环核心层(第 6–17 层)时,都以最初前六层的输出作为输入起点。信息通过跨轮次 messages 在各轮循环之间传递。每个循环层会利用自身的可学习 query 读取上一轮输出的信息(分别为其 query、key、value 和 MLP 输入各读取一条信息)。接着,一个微型门控控制器会结合当前层的输入和读取到的信息,决定要遗忘当前输入的多少内容、融入多少新信息。每一轮循环都会在此基础上对上一轮的计算结果进行精炼优化。

Inkling 2 Mini architecture

  • 每个由六层构成的模块中,包含五个滑动窗口层和一个全局注意力层。局部窗口最多可容纳 1,024 个 token。
  • 注意力机制采用 24 个 query 头和 8 个 KV 头,并引入了可学习的相对位置 logits、可学习的 sink 以及输出门控机制。全局注意力层则采用动态 key 和 value 卷积。
  • 路由机制会为每个 token 从 128 个 SwiGLU 专家中挑选出 8 个,将选出的分数归一化,并将权重缩放 8 倍。
  • 在第 2 轮和第 3 轮循环中,每个核心层都会对上一轮中的两个残差块进行注意力计算。四个秩为 64(rank-64)的门控结构会将独立的信息分别混入 query、key、value 和 MoE 输入中。

文本解码器的隐藏层宽度为 2,304,每个专家的中间层宽度为 1,152。复用核心层权重减少了权重文件需要存储的独立层数。不过模型在推理时仍会完整执行全部 48 次层访问,且每次访问都会维护独立的 KV 缓存和短卷积状态。

除了旗舰款 Inkling 2 Mini 之外,团队还发布了一个实验性模型。该变体采用相同架构,但经过专门训练,支持自定义循环轮数(passes)🤯。将默认的 3 轮改为 1 或 2 轮可以大幅提升推理速度,不过生成质量可能会略有下降。我们实测了该版本,确认可用,但尚未展开深入评测。

基准测试结果

在 Artificial Analysis 智能指数 v5(AAv5)以及多个类别的基准测试中,Inkling 2 Mini 在同级别模型中均名列前茅。与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 相比,Inkling 2 Mini 在 48 项基准测试中有 32 项拔得头筹,涵盖代码与自动化研究、知识工作的智能体搜索与工具调用、视觉理解与生成、推理与知识,以及安全与对齐等领域。完整基准与得分列表见 Inkling 2 Mini 模型介绍页。

Inkling 2 Mini 是一款优秀的本地编程助手。它在 FrontierCode v2.0 上位居第一,在 Terminal-Bench 4.0 上与 Qwen3.8-27B 打成平手,在 AutomationBench-AA v1.0.6 上则稍逊于 Qwen。以下是它在编程和知识工作任务中的部分代表性表现。需要说明的是,AA Briefcase 采用 ELO 评分体系,分数越高越好。

Inkling 2 Mini selected benchmarks

推理支持

本节将介绍如何在 transformers、llama.cpp、MLX 和 SGLang 中使用 Inkling 2 Mini。

Transformers

我们同时支持 Inkling 2 Mini(固定循环)和 TML-d24-varloop-research(可变循环)实验变体。

Inkling 2 Mini 固定循环模式

你可以直接使用 AutoModelForMultimodalLM 类。

import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling-2-Mini"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
)

messages = [{"role": "user", "content": [{"type": "text", "text": "Why is the sky blue?"}]}]

inputs = processor.apply_chat_template(
    messages, tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt",
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

可变循环模式

若要设置该实验版 Checkpoint 的循环轮数,可以按如下方式修改 text_config 中的 loop_num_passes。下例使用的是两轮循环。

import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/TML-d24-varloop-research"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    text_config={"loop_num_passes": 2},
)

messages = [{"role": "user", "content": [{"type": "text", "text": "Why is the sky blue?"}]}]

inputs = processor.apply_chat_template(
    messages, reasoning_effort="medium", tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", 
).to(model.device)
input_len = inputs["input_ids"].shape[-1]

outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

图文输入

对于包含图像的提示词,只需将上述任意示例中的 messages 替换为以下列表,然后照常推理即可。

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "/path/to/image.jpg"},
            {"type": "text", "text": "What is in this image?"},
        ],
    }
]

推理力度(Reasoning Effort)

调用 processor.apply_chat_template(...) 时传入 reasoning_effort="medium" 即可设置该请求的推理力度。聊天模板会将该数值作为系统消息拼入提示词中。默认值为 high(0.9)。

inputs = processor.apply_chat_template(
    messages, reasoning_effort="medium", tokenize=True, add_generation_prompt=True, return_dict=True, return_tensors="pt", 
).to(model.device)

可选档位包括 none (0.0)、minimal (0.1)、low (0.2)、medium (0.7)、high (0.9;默认值)、xhigh (0.99) 和 max (0.99)。你也可以直接传入 0.0 到 0.99 之间的具体数值,例如 reasoning_effort=0.35。

工具调用

下面来看看如何让模型调用工具。

在这个例子中,我们向模型询问指定地点的当前气温。在给出提示词的同时,我们也提供了用于查询的工具(get_current_temperature)。模型发出工具调用请求后,我们代为执行该工具,并将执行结果加入下一轮指令中。随后,模型便会结合工具返回的数据给出最终结果。

如需深入了解工具调用的更多细节,建议参阅我们的官方文档。

import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor

model_id = "thinkingmachines/Inkling-2-Mini"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")


def get_current_temperature(location: str, unit: str):
    """
    Get the current temperature at a location.

    Args:
        location: The location to get the temperature for, in the format "City, Country"
        unit: The unit to return the temperature in. (choices: ["celsius", "fahrenheit"])
    """
    return 22.0  # A real function would call a weather API here


def ask(messages):
    inputs = processor.apply_chat_template(
        messages, tools=[get_current_temperature], reasoning_effort="low", tokenize=True, return_dict=True, return_tensors="pt"
    ).to(model.device)
    output = model.generate(**inputs, max_new_tokens=1024)[0][inputs["input_ids"].shape[-1] :]
    parsed = processor.parse_response(output, prefix=inputs["input_ids"][0])
    return parsed


messages = [{"role": "user", "content": "Hey, what's the temperature in Paris right now?"}]

reply = ask(messages)
call = reply["tool_calls"][0]["function"]
print("Model calls:", call["name"], call["arguments"])  # the model fills in the arguments itself

temperature = get_current_temperature(**call["arguments"])
messages += [reply, {"role": "tool", "name": call["name"], "content": str(temperature)}]
print(ask(messages)["content"])

# Model calls: get_current_temperature {'location': 'Paris, France', 'unit': 'celsius'}
# Right now in Paris it’s about **22°C** (roughly **71.6°F**).

Llama App 与 Llama.cpp

Llama App 可以让你在 macOS(通过菜单栏)或 Windows(通过系统托盘)上轻松运行和管理本地大语言模型。它由 llama.cpp 团队基于该项目亲手打造。该应用还提供了兼容 OpenAI 格式的本地 API,便于快速接入编程智能体、代码编辑器及各类脚本。

配合 Inkling 2 Mini 的发布,我们为这两款模型均提供了 GGUF 4 位(IQ4_NL))和 8 位(Q8_0)量化版本。

如果你使用的是 Linux,或者希望通过命令行运行模型服务,固定循环模型可以执行以下命令:

llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL

若要运行可变循环模型,可以执行:

llama serve -hf ggml-org/TML-d24-varloop-research-GGUF:IQ4_NL

如果需要加载 8 位权重,只需将后缀修改为 :Q8_0 即可。

这里我们让 4-bit 模型为一个名为“植物疗愈”(plant therapy)的 SaaS 平台制作网站,该平台专门将植物与执业心理咨询师进行匹配。模型的自主性相当高:它不仅自己绘制了网站所需的 SVG 视觉素材,甚至还写好了底层的匹配逻辑。

SGLang

SGLang 已经第一时间为 Inkling 2 Mini 提供了首日支持。安装最新版 SGLang 后,运行以下命令即可启动服务。需要注意的一项前提条件是,必须在 SM103 环境下运行。

export MODEL="thinkingmachines/Inkling-2-Mini"

python -m sglang.launch_server \
  --model-path $MODEL \
  --served-model-name inkling \
  --attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \
  --tp 1 --page-size 128 --grammar-backend xgrammar \
  --host 0.0.0.0 --port 30000

服务启动后,就可以像这样调用 API 了:

curl -s localhost:30000/health_generate && echo OK
curl -s localhost:30000/v1/models | python -m json.tool

curl -s localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
        "model": "inkling",
        "messages": [{"role": "user", "content": "What is 17 times 24?"}],
        "max_tokens": 512,
        "reasoning_effort": "low"
      }' | python -m json.tool

也可以通过配置 --enable-multimodal 来开启多模态支持。

投机解码

SGLang 支持使用三层 DSpark 草稿模型来预生成 Token,交由目标模型进行验证。该草稿模型会读取解码器第 5、23 和 41 次访问的输入,以及索引 48 处的最终归一化状态。在备齐草稿模型权重后,只需在服务端启动命令中加入 --speculative-algorithm DSPARK --context-length 131072 即可。

我们对比测试了模型在开启和关闭投机解码时的表现,测试环境为单张 NVIDIA B300 GPU;每个请求包含 1,024 个 Token 的提示词,且固定生成 1,024 个 Token,并发数分别设为 1、4、16 和 64。

显示 SGLang 基准测试脚本

MODEL=thinkingmachines/Inkling-2-Mini

for TAG in base mtp; do
  EXTRA=""; [ $TAG = mtp ] && EXTRA="--speculative-algorithm DSPARK"

  # Start the server (with or without MTP)
  python -m sglang.launch_server --model-path $MODEL \
    --attention-backend fa4 --bf16-gemm-backend torch --dtype bfloat16 \
    --tp 1 --page-size 128 --context-length 131072 --max-running-requests 64 \
    --port 30000 $EXTRA > $TAG.log 2>&1 &
  until curl -sf localhost:30000/health_generate > /dev/null; do sleep 10; done

  # Benchmark at increasing concurrency
  for C in 1 4 16 64; do
    python -m sglang.bench_serving --backend sglang --port 30000 --model $MODEL \
      --dataset-name random --apply-chat-template \
      --random-input-len 1024 --random-output-len 1024 --random-range-ratio 1.0 \
      --num-prompts $(( C*4 < 32 ? 32 : C*4 )) --max-concurrency $C \
      --output-file results_$TAG.jsonl
  done

  kill %1; wait
done

SGLang throughput and time per token with and without MTP

MLX

我们已将 MLX 支持合并至 mlx-lm 上游项目,涵盖多模态图文输入,并通过 mlx-community 组织分享了量化版本。

MLX 推理同样支持原生检查点。这种情况下无需二次转换,直接沿用原生的 nvfp4 + mxfp8 量化方案,能够完美呈现作者预期的原始质量。

以下是命令行调用示例:

mlx_lm generate --model thinkingmachines/Inkling-2-Mini --image image.jpg --prompt "Describe this image.<|end_message|><|message_user|><|content_image|><|unused_200054|>" -m 1000

Demo 与直观效果测试

我们让 Inkling 2 Mini 尝试了许多有趣的实际任务,本节就来带大家一探究竟。

3D 着色器漫游动画

使用同一段提示词,模型生成了两个在日落时分飞越程序化山脉与反光水面的漫游场景,每个场景均由单个 WebGL 片元着色器实时渲染而成。

日落山脊(Inkling 2 Mini)

平静海面之上(Qwen 3.8 27B)

显示通用的漫游动画提示词

制作一个尽可能令人惊艳的原创实时渲染场景:镜头以缓慢、极具电影感的方式穿过程序化山脉、穿透体积云,并紧贴着泛着倒影的水面低空飞行,全景沐浴在落日余晖中。请在当前目录下将其打包为单个独立的 index.html 文件,所有画面必须仅靠代码在一个全屏 WebGL 片元着色器中完成渲染(严禁使用任何纹理、图片、字体、外部库、外部文件或发起网络请求)。在桌面版 Chrome 中以 1920x1080 分辨率运行时必须保持流畅,目标是在桌面级 GPU 上跑满 60 fps;同时须具备自动降分辨率机制,当帧率下跌时主动调低内部渲染分辨率,且漫游飞行必须能够无限循环进行、不出现任何画面穿帮。如需检查效果,请运行 node shot.cjs index.html shot.png 6(第三个参数为等待秒数;传入以逗号分隔的时间列表如 3,12,25 可在不同时间点各截取一张图片,可选的第四个参数用于指定尺寸,默认为 1280x720):它会在无头 Chrome 中渲染页面并保存截图,同时打印出 WebGL 渲染器信息、大致帧率以及所有控制台报错;随后请自行查看生成的图片。当前机器上的无头渲染器可能是纯纯的软件渲染,其帧率可能远落后于真实桌面 GPU,因此无须达到桌面端目标。请自行判断何时完工,完成后回复一段简要说明,介绍你制作的场景即可。

动起来的《星夜》

Van Gogh’s original Starry Night painting, with a swirling blue sky above a village

文森特·梵高,《星夜》(The Starry Night,1889 年)

Inkling 2 Mini 复现版

我们为 Inkling 2 Mini 提供了梵高名画的参考图,并在 Pi 编码测试套件中接入了截图辅助工具。Inkling 随后编写出一个包含单个 WebGL2 片元着色器的独立 HTML 页面。该着色器完全通过代码实时绘制画面,无需加载参考图或任何其他外部素材。它利用时间变量驱动动态效果,让旋涡状的夜空流转、星辰生辉、柏树轻摇,村庄的窗户也透出点点微光。

在总共 24 轮截图检查中,Inkling 不断渲染并审视自身成果。我们在 Apple M4 Max 设备上,以 1080p、60 fps 逐帧录制下了最终的动画效果。

查看提示词

当前文件夹中的 starry-night.jpg 是文森特·梵高的《星月夜》(1889 年,公有领域)。请将其重构为一幅“活过来的画作”:编写一个独立的 index.html(所有代码内联,不包含任何外部文件、库或网络请求),使其填满浏览器窗口,并在桌面版 Chrome 中以 1920x1080 分辨率流畅运行。所有画面必须完全用代码程序化生成(例如使用 WebGL 着色器);页面绝不能加载、嵌入或采样 starry-night.jpg 或任何其他图像。请忠于原画的构图与色彩(天空中巨大的螺旋旋涡、带光晕的星辰、发光的弯月、左侧如黑色火焰般的柏树、连绵起伏的丘陵,以及带有教堂尖顶的村庄),重现梵高厚重且具方向感的笔触,并赋予其生命力:夜空的旋涡缓缓流转、星月呼吸般闪烁、柏树轻摇、村落的窗户明灭闪动。尽力打造出最令人震撼的效果。我们提供了一个辅助工具:运行 node shot.js --help 可在多个时间点截取 index.html 的画面;请对照参考图检查截图并持续优化,直到满意为止,随后简要回复一份成果说明。

从餐巾纸草图到 App

Hand-drawn Trip Split wireframe with Expenses, Add expense, and Balances screens

输入的餐巾纸草图

Inkling’s Trip Split app showing three trip expenses and a $405 total

生成的 Trip Split 分账应用

我们在 Pi 编码测试环境中为 Inkling 2 Mini 提供了一张手绘的 Trip Split 原型草图和一段简短提示词。Inkling 依据草图中的标注、示例费用以及手写备注,使用原生 CSS 和 JavaScript 在单个 HTML 文件中搭建出了费用列表、添加费用表单和结算页面。当支出变动时,该应用不仅能实时更新总额与结余、提供最优结账建议,还会将数据保存在浏览器的 localStorage 中,刷新后数据依然保留。

我们让 Inkling 独立运行了三次,并使用 Playwright 自动遍历测试每次构建的应用,同时在需要视觉判断的地方检查截图。这里展示的是第一次尝试,它顺利通过了全部 13 项测试。添加草图中 90 美元的晚餐费用后,总金额从 405 美元增至 495 美元,并重新计算出了每个人应付的份额。

查看提示词

该文件夹中的图片 sketch.jpg 是产品设计师手绘的一款小型应用线框图。请将该应用完整开发出来,打造出你所能做出的最亮眼、最具原创性且达到生产级质量的版本:仅使用原生 HTML、CSS 和 JavaScript,在该文件夹中生成一个完全独立的单文件 index.html(不得引入任何框架、CDN、外部文件或发起网络请求;可以使用 localStorage),且必须能在 1920x1080 分辨率下的桌面版 Chrome 中流畅运行。纸上的所有内容均须视作硬性规格:每个界面、标签、按钮和数值,示例数据,以及每处红字注释所描述的功能行为都必须真实可用;视觉设计、字体排印与动态动效则由你自由发挥以呈现出美感。请调用视觉能力仔细审阅草图,并在完成后再次用视觉能力检查自己的成果:node shot.cjs --help 介绍了系统提供的一个辅助工具,它可以在无头 Chrome 中执行点击或其他 JavaScript 操作后,按任意窗口尺寸对 index.html 截图(若更习惯使用自己的脚本,环境里也预装了 Playwright),你可以使用 read 工具查看生成的任意截图。请逐一点击体验每项功能,对照草图核对每个界面,持续打磨优化直到你完全满意;最后回复一份简短总结,说明你开发的内容。

4-bit 模型

我们让经过 4-bit GGUF 量化的 Inkling 2 Mini(IQ4_NL)为一个名为 plant therapy 的 SaaS 平台搭建网站,该业务致力于帮绿植匹配持证治疗师。

模型的自主性相当惊人,它自己绘制了网站所需的 SVG 图形,甚至连匹配逻辑都一并写好了,而这一切仅仅源于一句简短的提示词:“Can you make a website for my saas called plant therapy where I match house plants with licensed therapists so plants don’t die, return single HTML”。

“把自己变成浏览器智能体”

我们将 Inkling 2 Mini 与 Pi 编程智能体搭配,借助 Helium、Chromium 和 Hugging Face Sandboxes,让它自主构建成一个浏览器智能体。相关运行轨迹以及可直接用作浏览器智能体的最终文件已放入此存储桶中。

写在最后

我们非常高兴能与 Thinking Machines Lab 携手发布 Inkling 2 Mini,这是一款适合本地部署、性能出色的中型模型。欢迎上手体验,并在评论区留下你的看法!

来源:Hugging Face Blog · huggingface.co

EVAOO 主站实战落地 · 大模型与 AI 内容工程

看完情报?回到 EVAOO 主站直接上手工具与完整 SOP

返回 EVAOO 主站