Runway 开源机器人世界动作模型 Praxis-1

Praxis-1 基于 Runway 作为 Cosmos Coalition 创始成员的研究成果打造，旨在推动面向物理 AI 的开放世界模型发展。| 图片来源：Runway

Runway AI 昨日正式发布面向机器人领域的“世界行动模型”Praxis-1。该模型现已通过 Apache 2.0 协议向开发者开源模型权重。

Runway 最早于 9 月公布了 Praxis-1，当时的发布合作伙伴包括 Noble Machines、Standard Bots 和 Ultra。此后，这几家公司便开始在各自的硬件上运行该模型，涵盖双足人形机器人、六轴工业机械臂以及双臂仓储机器人。

“一个强大的基座模型至关重要。此前与 Noble Machines 合作时，我们的上一代模型需要大量训练才能学会他们的仓储任务——逐一抓取木板并放入容器中，”Runway 机器人业务负责人 Andy Chen 在接受《The Robot Report》采访时表示，“而凭借更充足的算力和数据训练出来的 Praxis-1，仅通过半小时的示范就掌握了这项任务，15 次测试全部成功。随后，我们让它把一堆从未见过的杂乱木板清理归拢到料箱里，它在 10 次尝试中成功完成了 6 次。”

“根据合作伙伴的反馈不断迭代，让我们的模型变得更强大，”他继续说道，“如今，Praxis-1 在英伟达的 RoboLab 排行榜上高居世界行动模型榜首，同时也是排名第一的开源端到端策略模型。”

Praxis-1 现已上线 GitHub，并发布于 Hugging Face（原生支持 LeRobot）和 vLLM-Omni，同时在 Reactor 上提供托管式推理服务。Runway 表示，开发者在自有硬件上运行和调优该模型所需的所有资源，均已基于 Apache 2.0 协议开源，支持商用。这不仅包括模型权重，还涵盖推理与微调代码，同时支持全量微调与低秩适应（LoRA）。

Praxis-1 可在各类 NVIDIA 硬件上开箱即用，覆盖 H100、B200 等数据中心 GPU，RTX 5090、RTX PRO 6000 等工作站级 GPU，以及直接部署在机器人端的 Jetson Thor 平台。

Praxis-1 基于 Runway 的视频基座模型构建

Praxis-1 是一款 270 亿参数的混合专家扩散 Transformer 模型（MoE Diffusion Transformer），能够同步预测视频画面与动作。

在 RoboLab-120 评测中，Praxis-1 在 1200 个评测周期（episodes）内取得了 46.2% 的成功率，高于 FLUX 3 Action 的 42.9%、Cosmos3 Nano 的 36.8% 以及 π0.5 的 28.0%，在总榜中位列第五。

Chen 表示：“其核心在于，经过视频预测训练的模型对物理世界有着非常深刻的理解——物体如何互动、手部如何移动，以及任务进行到一半时场景呈现何种状态等等。”

“Praxis-1 构建于 Runway 的视频基座模型之上，在学会行动之前，它首先理解了物理世界的运转规律，”他补充道，“我们在整个训练目标中始终保留了视频预测任务，这样一来，模型能先构想出下一刻场景应当呈现的画面，进而生成能够实现该画面的动作。”

Praxis-1 适用于多种不同的机器人形态

Praxis-1 从海量视频中学习物体的交互规律以及任务的推进过程。| 图片来源：Runway

Runway 解释称，Praxis-1 能从海量视频中学习物体的物理规律以及任务的具体展开过程，因此在针对特定硬件或领域数据微调之前，它就已经对新的物理形态具备了先验优势。该公司的研究表明，若用作提升策略表现的预训练数据，网络视频的效果完全不逊于遥操作机器人视频。这也意味着，打造高性能策略的瓶颈，已经转变为模型能从多少通用视频中吸收知识。

“具体任务因机器人而异。Noble Machines 研发了一款用于重工业搬运的足式人形机器人，配合他们时，Praxis-1 能够抓起木板、放入集装箱，并把混杂堆叠的物品分拣清理到料箱中，”Chen 表示，“Standard Bots 制造用于工厂机床上下料和码垛等工作的六轴机械臂；Ultra 则打造并部署用于仓库订单打包的双臂工作站。人形机器人、单机械臂和双臂是形态迥异的机器，但同一个模型却能同时驱动这三者。”

Runway 表示：“在与合作伙伴的协作中，只需少量微调，单个 Praxis-1 检查点就能适配各种不同的物理形态。借助 LoRA，开发者无需重新训练完整模型，即可让它适配自己的形态、相机视角与任务。在针对此前从未出现在训练数据中的 Google RT-1 机器人进行微调后，Praxis-1 在 SimplerEnv 上的成功率达到了 80.0%，远超原始 RT-1 策略的 52.4%。”

立即提交您的创新成果！

为什么坚持让 Praxis-1 开源权重？

自最初发布以来，Runway 就一直致力于将 Praxis-1 作为开源权重模型推出。这家总部位于纽约的公司表示，开源权重让硬件开发者能够根据自身需求，灵活地运行、审查并调整世界动作模型。

“在 Runway，我们深信美国在物理人工智能领域的领先地位至关重要，”Chen 强调，“重塑我们在制造业上的全球领先优势、加速全社会的生产力增长，以及保障我们自身与盟友的安全，都有赖于此。”

“要实现这一目标，不仅需要大幅增加软硬件投入，还需要美国模型在物理应用场景中展现出前所未有的互操作性和开放度，”他说道，“我们认为开源世界模型是一种能够产生复利效应的优势，能为硬件开发者带来此前不具备的灵活性与掌控力。”

在向开发者开放 Praxis-1 后，Runway 表示当前的工作重点是扩大规模化部署。

“我们希望 Praxis-1 走进真实世界：进驻真实的仓库、工厂和工业现场，承担切实的工作，”Chen 说道，“我们坚信，机器人技术的最前沿将在现实应用中诞生，而不是在实验室里。因此，接下来的重点是与合作伙伴携手部署，从现场遇到的实际问题中学习，再将这些经验反哺回模型中。”

这篇《Runway 机器人世界动作模型 Praxis-1 现已正式发布》首发于 The Robot Report。