跳到正文
Latent Space· Richard MacManus·· 2 天前精选AI 评分74

形式化验证如何成为应对 AI 生成低质代码的新武器

The War Against Slop and an Emerging Weapon to Fight it: Formal Verification

AI 导读

形式化验证正成为 AI 编程领域应对低质生成代码的关键技术手段,通过数学证明确保软件与硬件的逻辑正确性。&Truth、Harmonic、Theorem 和 Axiom Math 等公司正结合大语言模型与 Lean 语言或 SMT 求解器构建自动化验证工具,Anthropic 的测试也显示模型在验证任务中的 token 效率正在改善。

推荐理由

原文梳理了形式化验证在 AI 编程中的代表性公司与技术路线,有助于读者理解代码生成如何从概率测试走向数学级正确性验证。

正文 · AI 翻译

2026年AI行业最火的词莫过于“垃圾代码/内容”(slop)——特指大语言模型生成的劣质输出。如今大量代码都由AI生成,如何避免产出垃圾代码已成为软件工程师的日常功课。究竟该怎样解决?一种途径是采用形式化验证系统,借助数学证明与逻辑来彻底检验软硬件的正确性。

随着AI解数学题的能力越来越强,目前已涌现出一批提供形式化验证系统的AI公司,包括 Harmonic、Theorem、Axiom Math,以及新入局的 &Truth(读作“and truth”)。本文将带你了解这些公司正在采用的几种技术路径。

形式化验证在当今软件与AI中的应用现状

为了更深入了解形式化验证系统的前沿格局,我们采访了该领域的核心倡导者之一:&Truth 联合创始人兼联席CEO Clark Barrett。他同时也是斯坦福大学计算机科学系 Corbel 研究教授,并参与创建了 cvc5——这是一款在形式化验证中广泛应用的知名自动推理引擎。

简单来说,cvc5 属于所谓的 SMT(可满足性模理论)“求解器”。据 Barrett 介绍,这类工具在亚马逊等大型科技公司应用非常广泛。例如,在亚马逊基于智能体的开发环境 Kiro 中,cvc5 就被用于规范分析和测试生成。

“看着自己开发的工具从实验室里的一个好点子,演变成如今在亚马逊生产线上每天被调用数十亿次的 cvc5,这种感觉非常奇妙,”Barrett 告诉我们。

来源:Clark Barrett 参与合著的一篇关于 cvc5 的 2022 年论文。

当 AI 编程智能体公司谈到“验证”自己的产出时,通常指让智能体运行测试、自我评估输出,或是让另一个 AI 模型进行评判。那么,这种做法与真正的形式化验证究竟有多大差距?我向 Barrett 提出了这一疑问。

“核心区别归根到底在于:你如何确定自己真的做完了,”他回答道,“如果你只是在做测试、修补、扫描——也就是用现存的各种工具——它们确实很出色,能找出海量问题并一一报错。但你永远无法确信,自己是否找出了所有问题,还是说暗处仍潜伏着现有工具根本抓不到的漏网之鱼?”

&Truth 的首款工具 &Atlas;它被定位为“全球开源代码图谱,率先从 C 语言编写的代码切入”。

Lean 在形式化验证中扮演的角色

&Truth 基于 Lean 构建,这是一款开源编程语言兼定理证明助手。该公司将 AI 与自动推理技术相结合,生成可供 Lean 严格检验的证明代码。

Lean 正是前沿模型用来攻克各类极高难度数学难题的核心工具。例如就在本周,GPT-6.2 Astra 给出了Vals 所称“针对斯莫克图诺维奇间隔定理(Smoktunowicz’s Gap Theorem)的首个 Lean 证明”。Vals 还补充道,Anthropic 此前也使用 Lean 完成了费马大定理的形式化验证,该项目规模达 1300 万行。

最新的一则重磅数学新闻更是提到,Anthropic 数学家 Levent Alpöge 声称自己借助 Claude 证明了历时 167 年的黎曼猜想——并且他已在 Lean 中公开了该证明。

Lean 代码示例,来自 Lean 项目官网

&Truth 正基于 Lean 框架打造其所谓的“验证机”,其目标是读取“任意语言编写的代码,证明其是否符合精确制定的要求,让人类无需读懂每一行代码也能对其产生信任”。

“Lean 做的事其实就是检查你有没有犯错,”Barrett 解释道,“所以你可以把它看作一套用于数学的极其精密的高级检查器。”

这对模型训练也有重要价值。Axiom Math 利用形式化验证为训练提供正确性反馈,以此打磨其数学推理系统,并通过各种证明尝试来改进未来的模型。

在 6 月接受 Latent Space 采访时,Axiom 首席执行官 Carina Hong 指出,形式化验证以及 Lean 所带来的能力,绝不仅仅是一种防守手段。

“在我们看来,形式化验证或经可信验证的 AI,不仅是为了处理或剔除那些拙劣之处、幻觉和错误。它的核心在于让卓越得以规模化扩展。它关乎超级智能。”

Axiom 开发了用于生成 Lean 证明的 AI 系统 AxiomProver,以及用于探索、校验和操作这些证明的工具套件 AXLE。

Harmonic 旗下的Aristotle 是一款“自动定理证明器”,其产品大量依赖 Lean。该公司在官网上表示:“在 Aristotle 内部,AI 负责编写证明,Lean 负责检查每一步,因此最终结果从不寄托于 AI 是否自身正确。”

Harmonic 的工作流

网络安全与大语言模型规模化的形式化验证

如今人们对网络安全的担忧日益加剧——甚至有人认为当前正处于 AGI 来临前夕的敏感期——形式化验证系统显得比以往任何时候都更加必要。Barrett 也证实,网络安全是 &Truth 的核心业务重点。

“我们这项技术有一个非常强大的落地场景,就是遍历全世界所有的 C 语言代码(无论开源还是闭源),尽可能确保其具备内存安全性。如果存在内存安全隐患,我们就能指出:这段代码有漏洞,需要修复后才能保证安全。”

&Truth 的竞争对手之一 Theorem 同样将安全作为重点。“当对手的攻击手段呈规模化扩张时,验证是唯一守得住的防线,”Theorem 在其主页上写道。 

Theorem 的证明效率评测:“证明效率评测中每小时验证的机器码千字节数(KB),按模型发布日期排列,包含 95% 置信区间。”

Theorem 还就该议题与 Anthropic 展开合作,并联合发布了一篇题为《大语言模型正让更大规模的形式化软件验证成为可能》的博客文章。 

文中尤其振奋人心的一点在于,形式化验证尽管目前消耗 Token 较多,但其 Token 使用效率正逐渐提升。Anthropic 报告称,在一组包含 36 项小型验证任务的测试中,Opus 5.5 相比 Opus 5 节省了约 40% 的 Token,同时达到了 50% 的求解率。随着更多模型在“长流程验证任务上接受训练”,预计这一趋势还将持续。

Theorem 与 Anthropic 将“基于大模型规模化的形式化验证”视作一条前景广阔的路径,能够在以往难以企及的规模上提供安全保障。

Anthropic 示意图:“从代码到经机器验证的保证”;此例使用的是 Rocq,而非 Lean。

面向开发者的“验证编程”体验

最后,形式化验证究竟如何融入开发者的日常工作流?&Truth 在其官网上写道,开发者将从“氛围编程”(vibe-coding)迈向“验证编程”(veri-coding)——这意味着验证层将直接成为工作流的一部分。

Barrett 解释道:“只要把验证引擎接入智能体,你依然可以对它说:‘嘿,帮我做这个。’或许你需要稍微花点精力,跟智能体敲定清楚你想构建的内容规范。但随后,智能体就可以在后台与形式化验证工具协同运作。对你而言,体验几乎没有任何不同,唯一的区别在于,代码一次就能跑通。”

因此,这种理念的核心在于:开发者会把更多时间花在编写和审查规范上,而不是编写或审查代码。

全面验证产出结果

在本文即将收尾时,我正好刷到了 Cognition 开发者关系负责人 Nader Dabit 发的这条推文:

不管“结果工程”(outcome engineering)这个说法最终能否流传开来,他对当前编程发展阶段的判断都非常敏锐。当你只需对手下的智能体团队提出需求、它们就能着手构建时,人类开发者就需要有一种手段,来检验智能体交付成果的正确性。 

如果像 &Truth、Harmonic、Theorem 和 Axiom Math 这样的公司能够实现其设想,形式化验证可能会成为检验这些产出越来越实用的一种手段。

来源:Latent Space · latent.space

EVAOO 主站实战落地 · AI Agent 与研发提效

看完情报?回到 EVAOO 主站直接上手工具与完整 SOP

返回 EVAOO 主站