Reson8 开源 0.5B 语音识别模型 Rumble-2-Flash
Rumble-2-Flash: an open 0.5B speech model for 40+ languages
Reson8 开源了支持 40 多种语言的 0.5B 语音识别模型 Rumble-2-Flash,采用 Apache 2.0 协议并原生兼容 Transformers 与 vLLM。
该模型展示了通过跨分词器在线策略蒸馏压缩语音模型的路径,适合需要平衡极低推理延迟与真实电话场景识别率的开发者参考。
今天,我们以 Apache 2.0 协议正式开源 Rumble-2-Flash。这是一款拥有 5 亿(0.5B)参数的语音识别模型,支持 40 多种语言,性能足以匹敌体量为其 3 到 60 倍的模型。
- 随处可跑:🤗 Transformers 和 vLLM 原生支持,无需编写任何自定义代码
- 支持 40+ 种语言:具备自动语种检测功能
- 灵活可控的输出:支持数字(阿拉伯数字或拼写)、语气词、逐字重复以及指定输出语言
- 极致性能:全批次(full batches)下实时率倍数(RTFx)突破 7,000,转写一小时音频仅需约半秒
- 真实通话场景表现出色:在 302 小时的呼叫中心基准测试中,性能媲美 NVIDIA 参数量达 30B 的 Nemotron 3.5 Transcribe
快速上手
使用 🤗 Transformers 进行转写
uv pip install torch transformers accelerate
from transformers import AutoProcessor, AutoModelForMultimodalLM
model_id = "Reson8/Rumble-2-Flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
inputs = processor.apply_transcription_request(
audio="https://hf.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/bcn_weather.mp3",
language="English", # omit to detect automatically
).to(model.device, dtype=model.dtype)
output = model.generate(**inputs, max_new_tokens=512)
generated = output[:, inputs["input_ids"].shape[-1]:]
print(processor.decode(generated, return_format="transcription_only")[0]) # return_format="parsed" if detecting language
audio 支持输入本地路径、URL、NumPy 数组,或是由这些类型组成的列表。
技术架构与训练细节
Rumble-2-Flash 采用 Qwen3-ASR 架构,上线即可直接使用。只要你的技术栈能跑 Transformers 或 vLLM,就能直接运行 Rumble-2-Flash,不需要自行 fork 运行时,也不需要 trust_remote_code。
为了探究模型在准确率不发生明显下滑的前提下究竟能做多小,我们采用策略内蒸馏(on-policy distillation)技术,将参数量更大的生产级模型 Rumble-2 蒸馏到了该模型中。训练时,学生模型并不是直接去学习老师写好的转写文本,而是先自主转写音频,再由老师对其转写结果进行逐 token 打分:在每个位置上,老师都会给出下一个 token 的预测概率分布,学生模型则通过调整自身参数去拟合该分布。由于学生模型是在自身的输出上进行学习,它能在每次出错的具体位置得到即时纠正,反馈精细到每一个 token,而不是整段音频只给出一个综合评分。
策略内蒸馏通常要求教师模型与学生模型使用相同的分词器(tokenizer),但我们的两个模型分词器并不一致——选用 Qwen3-ASR 就意味着必须采用它的词表。GOLD 打破了这一限制。当两个分词器对同一段文本的切分方式不同时,它会将这些 token 合并,从而保证两个模型基于同一段文本进行对比。两个词表中共同存在的 token 会直接比较,其余 token 则根据各自排序后的概率进行对齐与评估。
基准评测
同等体量下的准确率表现
在 Open ASR Leaderboard 的多语言榜单中,Rumble-2-Flash 在中文、德语、法语、意大利语、西班牙语、葡萄牙语、印地语、荷兰语和英语上的平均错误率为 6.96%。这一表现优于参数量为其 15 倍的 Meta omniASR-LLM 7B,也领先于 Whisper large-v3。在英语榜单中,它的平均字错误率(WER)仅为 6.6%。
推理速度
Rumble-2-Flash 的速度同样惊人。它的吞吐量与批处理(batch)的饱满程度直接相关:在 Hugging Face Open ASR Leaderboard 的大型数据集测试中,当批处理保持打满状态时,其处理速度突破 7,000 RTFx。这意味着处理一小时的音频只需要大约半秒钟。
真实通话场景
转写清晰的高保真音频并不难,但电话录音经过压缩、背景噪音多,说话人往往还带有各种口音。在 AppTek 呼叫中心基准评测(包含 302 小时求助热线录音、涵盖 14 种英语口音,采用 AppTek 官方脚本评分)中,Rumble-2-Flash 的 WER 仅为 7.86%,与 NVIDIA 30B 参数的 Nemotron 3.5 Transcribe(7.78%)基本打平。它大幅领先同系列的 Qwen3-ASR 0.6B(8.7%),并紧追对比测试中唯一表现更优的 Qwen3-ASR 1.7B(7.4%)。
立即体验
模型权重现已发布至 Hub:Reson8/Rumble-2-Flash,同时也可通过我们的 API 调用。
我们非常期待看到大家用它打造出的成果。欢迎前往 Discussions 讨论区,分享你的作品、使用心得,以及对下一版本的改进建议。
来源:Hugging Face Blog · huggingface.co