跳到正文
Hugging Face Blog·· 5 天前精选AI 评分73

Reson8 开源 0.5B 语音识别模型 Rumble-2-Flash

Rumble-2-Flash: an open 0.5B speech model for 40+ languages

AI 导读

Reson8 开源了支持 40 多种语言的 0.5B 语音识别模型 Rumble-2-Flash,采用 Apache 2.0 协议并原生兼容 Transformers 与 vLLM。

推荐理由

该模型展示了通过跨分词器在线策略蒸馏压缩语音模型的路径,适合需要平衡极低推理延迟与真实电话场景识别率的开发者参考。

正文 · AI 翻译

今天,我们以 Apache 2.0 协议正式开源 Rumble-2-Flash。这是一款拥有 5 亿(0.5B)参数的语音识别模型,支持 40 多种语言,性能足以匹敌体量为其 3 到 60 倍的模型。

  • 随处可跑:🤗 Transformers 和 vLLM 原生支持,无需编写任何自定义代码
  • 支持 40+ 种语言:具备自动语种检测功能
  • 灵活可控的输出:支持数字(阿拉伯数字或拼写)、语气词、逐字重复以及指定输出语言
  • 极致性能:全批次(full batches)下实时率倍数(RTFx)突破 7,000,转写一小时音频仅需约半秒
  • 真实通话场景表现出色:在 302 小时的呼叫中心基准测试中,性能媲美 NVIDIA 参数量达 30B 的 Nemotron 3.5 Transcribe

快速上手

使用 🤗 Transformers 进行转写

uv pip install torch transformers accelerate
from transformers import AutoProcessor, AutoModelForMultimodalLM

model_id = "Reson8/Rumble-2-Flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")

inputs = processor.apply_transcription_request(
    audio="https://hf.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/bcn_weather.mp3",
    language="English",  # omit to detect automatically
).to(model.device, dtype=model.dtype)

output = model.generate(**inputs, max_new_tokens=512)
generated = output[:, inputs["input_ids"].shape[-1]:]
print(processor.decode(generated, return_format="transcription_only")[0])  # return_format="parsed" if detecting language

audio 支持输入本地路径、URL、NumPy 数组,或是由这些类型组成的列表。

技术架构与训练细节

Rumble-2-Flash 采用 Qwen3-ASR 架构,上线即可直接使用。只要你的技术栈能跑 Transformers 或 vLLM,就能直接运行 Rumble-2-Flash,不需要自行 fork 运行时,也不需要 trust_remote_code。

为了探究模型在准确率不发生明显下滑的前提下究竟能做多小,我们采用策略内蒸馏(on-policy distillation)技术,将参数量更大的生产级模型 Rumble-2 蒸馏到了该模型中。训练时,学生模型并不是直接去学习老师写好的转写文本,而是先自主转写音频,再由老师对其转写结果进行逐 token 打分:在每个位置上,老师都会给出下一个 token 的预测概率分布,学生模型则通过调整自身参数去拟合该分布。由于学生模型是在自身的输出上进行学习,它能在每次出错的具体位置得到即时纠正,反馈精细到每一个 token,而不是整段音频只给出一个综合评分。

策略内蒸馏通常要求教师模型与学生模型使用相同的分词器(tokenizer),但我们的两个模型分词器并不一致——选用 Qwen3-ASR 就意味着必须采用它的词表。GOLD 打破了这一限制。当两个分词器对同一段文本的切分方式不同时,它会将这些 token 合并,从而保证两个模型基于同一段文本进行对比。两个词表中共同存在的 token 会直接比较,其余 token 则根据各自排序后的概率进行对齐与评估。

On-policy distillation with GOLD: the student transcribes, the teacher scores every token, and GOLD aligns the two tokenizers On-policy distillation with GOLD: the student transcribes, the teacher scores every token, and GOLD aligns the two tokenizers
基于 GOLD 的策略内蒸馏

基准评测

同等体量下的准确率表现

在 Open ASR Leaderboard 的多语言榜单中,Rumble-2-Flash 在中文、德语、法语、意大利语、西班牙语、葡萄牙语、印地语、荷兰语和英语上的平均错误率为 6.96%。这一表现优于参数量为其 15 倍的 Meta omniASR-LLM 7B,也领先于 Whisper large-v3。在英语榜单中,它的平均字错误率(WER)仅为 6.6%。

Average error rate against model size for open-weight models on the Open ASR Leaderboard multilingual track, including English Average error rate against model size for open-weight models on the Open ASR Leaderboard multilingual track, including English
同等尺寸下的最佳成绩

推理速度

Rumble-2-Flash 的速度同样惊人。它的吞吐量与批处理(batch)的饱满程度直接相关:在 Hugging Face Open ASR Leaderboard 的大型数据集测试中,当批处理保持打满状态时,其处理速度突破 7,000 RTFx。这意味着处理一小时的音频只需要大约半秒钟。

真实通话场景

转写清晰的高保真音频并不难,但电话录音经过压缩、背景噪音多,说话人往往还带有各种口音。在 AppTek 呼叫中心基准评测(包含 302 小时求助热线录音、涵盖 14 种英语口音,采用 AppTek 官方脚本评分)中,Rumble-2-Flash 的 WER 仅为 7.86%,与 NVIDIA 30B 参数的 Nemotron 3.5 Transcribe(7.78%)基本打平。它大幅领先同系列的 Qwen3-ASR 0.6B(8.7%),并紧追对比测试中唯一表现更优的 Qwen3-ASR 1.7B(7.4%)。

WER on the AppTek call-centre benchmark WER on the AppTek call-centre benchmark
真实电话录音评测(覆盖 14 种英语口音)

立即体验

模型权重现已发布至 Hub:Reson8/Rumble-2-Flash,同时也可通过我们的 API 调用。

我们非常期待看到大家用它打造出的成果。欢迎前往 Discussions 讨论区,分享你的作品、使用心得,以及对下一版本的改进建议。

来源:Hugging Face Blog · huggingface.co

EVAOO 主站实战落地 · AI 视觉创意与多模态

看完情报?回到 EVAOO 主站直接上手工具与完整 SOP

返回 EVAOO 主站