东北大学与斯坦福团队提出 Shepherd 框架,通过版本控制管理与约束失控 AI 智能体
Meet Shepherd, the Meta-Agent Keeping Rogue AI In Check
东北大学与斯坦福大学研究团队提出名为 Shepherd 的元智能体管理框架,借鉴软件版本控制概念对工作智能体进行监管与质量控制,相关论文将在 2026 年 12 月举行的 NeurIPS 会议上展示。
该研究借鉴软件版本控制思想设计元智能体,为失控智能体的状态回滚与沙箱拦截提供了清晰的中间层架构方案。

AI 智能体正在互联网上四处横行。它们背负着完成特定任务的指令,却常常做出令人意想不到甚至适得其反的举动。这些失控事件五花八门,从清空整个邮箱、黑入网站,甚至到发起网络攻击,不一而足。
正如人类员工需要管理者一样,Weiyan Shi(东北大学助理教授)认为,AI 智能体同样需要被监管。“智能体可能会长时间持续运行。但运行时间越长,就越容易出错,甚至做出危险、有害的举动。我们觉得中间应该有一个监管层,”她表示。
这个中间层以元智能体(meta-agent)的形式存在,负责监督行为、把控质量,并在必要时将问题逐级上报给人类。“工作智能体就像到处乱晃的羊群,而 元智能体就像牧羊人,负责把它们拉回正轨,”Shi 解释道。
正因如此,Shi 和她在东北大学及斯坦福大学的同事将他们的框架命名为 Shepherd(意为牧羊人),旨在为这群智能体“羊群”提供智能引导。为了赋予元智能体监管权限,团队从软件开发中借鉴了“版本控制”的概念。相关研究论文将在 12 月举行的 2026 年 NeurIPS 大会上发表。
面向 AI 智能体的版本控制
版本控制系统(例如广受欢迎的 GitHub)能够持续跟踪并管理源代码的变更历史。借助这类工具,软件工程师可以在同一个代码库上协作而不必担心进度丢失。他们可以“分支”(fork)或复制一份代码库进行独立开发,通过“提交”(commit)保存包含更改的新版本,审查修订记录,并在出现错误或故障时回滚到之前的版本。
同样,Shepherd 也是一套面向 AI 智能体的版本控制系统。它基于 Python 编程语言构建,并遵循函数式编程理念。智能体的每一次操作,连同其自身状态和相关环境(如邮箱、文件系统等),都会被保存为一个提交(commit),由一系列操作共同构成提交图谱。元智能体可以遍历该图谱并跳转至任意提交,从而监视工作智能体、拦截错误操作、将工作智能体回滚至上一步,并创建分支尝试其他解决方向。
“这里有一个精妙的设计:在[工作]智能体看来,自己就像身处真实环境,可以随意执行发送邮件等操作。但实际上,发邮件这一动作已被 Shepherd 沙盒拦截,元智能体或人类可以介入并决定是否真正发出,”Shepherd 团队成员、斯坦福大学自然语言处理组研究员 Derek Chong 说道。他补充称,这种沙盒机制起到了安全护栏或治理模块的作用。
“如果有一个中间层来协助管理这些工作智能体,人类就能掌握更强的控制权,”Shi 表示,“人类最终依然拥有决定权,不仅可以干预元智能体,还能帮助引导这些元智能体的行动方向。”
为了验证 Shepherd 的可行性,团队设计了三个应用场景。其一,利用监督元智能体在并行编程智能体发生冲突时介入协调,从而在特定基准测试中提升了结对编程的通过率;其二,开发了优化元智能体,针对工作智能体已完成的工作流提出针对性修改建议,并通过仅重演受修改影响的运行环节进行测试,以提升整体性能;最后一个场景是在强化学习过程中引入训练元智能体,由其挑选分支节点或步骤,引导工作智能体走上更优路径,并在过程中给予奖励。
目前 Shepherd 已作为开源项目发布,但 Chong 指出,团队仍在将其从 Alpha 阶段推进至完全达到生产级可用。Shepherd 框架隶属于 Chong 和 Shi 联合发起的智能体科学研究计划(ASRI)。该合作项目汇聚了来自东北大学、斯坦福大学和加州大学伯克利分校的研究人员,旨在探索如何提高 AI 智能体的可靠性与鲁棒性、如何对其开展更好的评估,以及如何确保其安全性。
“大家越来越清晰地意识到,智能体管理确实至关重要,”Chong 说道,“正如现实生活中的管理运作一样,智能体应当有能力审查并操作其他智能体。我们认为 Shepherd 正是朝这一方向迈出的路径,能让智能体管理走向普及。一旦这种能力实现普及,人类就能更好地构建起促进人类福祉的 AI 系统。”
来源:IEEE Spectrum AI · spectrum.ieee.org