工程师如何利用“系统一”模型 Jev 重构自动化软件

今天在 AI Engineer Code 峰会上，核心议题是“系统一模型”（system one models）——即输出结构化选项、评分或概率的非生成式模型。与具备推理能力的大语言模型（亦称“系统二模型”）相比，它们往往速度更快，成本也低得多。 

要为系统一模型摇旗呐喊，最合适的人选莫过于 TypeSafe AI 的联合创始人兼 CEO Diogo Almeida。不到两个月前，正是由 Almeida 主导打造的 Jev 引爆了这一趋势。

Jev 在 9 月发布时，立刻让 AI 工程师们眼前一亮。在产品上线时与 Latent Space 录制的一期播客中（该期节目很快成为我们今年最受欢迎的一期），Almeida 阐述了将大模型作为软件核心所面临的根本问题：可靠性。 

在今天 AIE Code 的主题演讲中，他更进一步宣称，Jev 是一种“可靠的智能”，理应被用来“把一切都自动化”。 

将系统一模型融入代码

特别引起 AI 工程师共鸣的是 Almeida 提出的一个观点：系统一模型应当与代码深度融合。正如他在演讲中所说：“代码是自动化的语言，因此你必须与代码结合。”

Latent Space 创始人 swyx 将其解读为一种呼吁：“在应用代码内部各处大胆、密集地插入‘系统一’模型调用，以此打造更聪明的软件，而不是陷入越来越复杂的‘把字符串拼在一起然后听天由命’式 AI 工程”。

“智能软件”这个词贯穿了 Almeida 的整场演讲。它听起来很像 Web 2.0 时代微软或 IBM 常用的行话，但在如今的 AI 时代，它却道出了大模型驱动型软件的一个残酷现实：有时它们真没那么聪明。正如 Almeida 在演讲中调侃的那样：“95% 的时间你面对的是爱因斯坦，但剩下的 5% 却是个憨豆先生。”

他接着补充道：“要是连眼前是哪种状态都分不清，那到底还怎么搞自动化？”

Almeida 在演讲结尾激情呼吁“将一切自动化”。他宛如一位染着粉发、对 AI 坚信不疑的乔布斯，向“梦想家以及不愿被过往所限的人们”喊话，承诺 TypeSafe AI 愿意“真正为你们而战，我们希望它能像第四个逻辑门一样可靠。”

Glean 如何使用 Jev

紧接着 Almeida 登台可不是件轻松的差事，来自 Glean 的 Chinmay Goyal 随后分享了 Jev 更务实的落地实践。他解释道，在 Glean，系统一模型通常与大语言模型及其他类型的分类器配合使用，而 Jev 尤其适合用于实现“零样本灵活性”。 

他说道：“随着决策空间的分类体系发生变化，我们无需一遍又一遍地微调这些模型。”

演讲结束后的简短采访中，Goyal 告诉 Latent Space，其实他们的客户根本不需要关心底层用的是哪类模型。

“Jev 驱动了大量的业务流程，[但] 用户只需要一个好用的产品；这也是我们打造任何产品一贯的宗旨。因此，不论底层用的是 Jev 还是完整的大语言模型，我们都希望把这些复杂性完全隐藏起来。”

在演讲的最后，Goyal 给出了几条关于何时使用 Jev 的准则：

Jev 的使用范式与原型设计

接下来在 AIE Code 登场的是业务编排与自动化平台 UiPath 的 Chibi Vikram 和 Kevin Bernstein。他们展示的案例之一，是测试 Jev 对文档块进行排序的能力。他们搞了一场“锦标赛”：Jev 先从各小分组中挑选最相关的文档块，优胜者再晋级下一轮比拼，以此类推。尽管期间调用了数千次 Jev，整个过程却耗时不到一秒。

谈及这次及其他实验时，Vikram 表示：“我们意识到，Jev 是一块我们可以调节的基础构件，我们必须找到能够应用这块构件的新策略。单看它本身可能显得没那么聪明，但借助这些策略和模式，我们就能变得更智能——哪怕只用我们现有的 Jev 模型。”

Workday 首席工程师 Scott Roberts 为 AIE Code 的“系统 1”专题收尾，分享了其团队基于 Jev 开发的几个原型项目。

在其中一个案例中，用户还在打字，界面就已经开始自动填写请假卡片。这生动展示了 Almeida 的理念：快速的模型调用能够改变软件本身的运作方式。Roberts 将其描述为从“预测你想说什么，转变为预测你想做什么”。

宛如早期的互联网

今天听完“系统 1”专题的分享，我最大的体会是像 Jev 这样的模型能为软件构建开辟令人惊喜的新途径。当时我身旁坐着一位参会嘉宾，他是自己公司的 AI 负责人。他告诉我，他在业余时间用 Jev 搭建了一个网站，专门用于整理并排序范特西橄榄球的相关新闻。

不过，最后的总结还要留给 Almeida，他将系统 1 模型开启的新机遇比作互联网早期的各种大胆探索。

“我认为软件的能力即将迎来大爆发，我们希望大家去探索软件的边界。这倒不一定是因为它有多大价值，而是因为他们做得到，因为我们有了值得探索的新前沿——早期的互联网正是这般模样。”