LangSmith 推出实时告警功能 Alerts
Catch production failures early with LangSmith Alerts
LangChain 在 LangSmith 中上线告警功能 Alerts,支持对生产环境中的大语言模型应用与 AI 智能体进行实时监控。用户可基于错误数量与错误率、平均延迟及平均反馈分数设置告警规则,支持按模型、工具调用等维度过滤并设定 5 分钟或 15 分钟聚合窗口。告警通知可直接集成至 PagerDuty 或通过自定义 Webhook 推送至 Slack 等渠道。
针对生产环境大语言模型与智能体的依赖故障与质量波动,展示了多维度指标告警的具体配置方式。
出色的用户体验离不开可靠的应用。正因如此,赶在故障波及用户之前将其拦截才是关键。为了助您防患于未然,我们正式推出 LangSmith 告警功能(Alerts)——让您更轻松地实时监控大模型应用与智能体。
目前,系统已支持基于错误率、运行延迟和反馈评分等关键指标设置告警。
如果您已经在将生产环境的链路追踪(Trace)数据发送至 LangSmith,即日起即可配置您的首个告警。刚接触链路追踪?可以先了解 LangSmith 追踪功能。

为什么主动监控至关重要
监控与告警对任何生产级应用都必不可少——而大模型驱动的应用又带来了独特的挑战,主要集中在以下两方面:
对外部服务的依赖:
智能体应用天然高度依赖外部组件——您可能会接入一家或多家模型供应商,还会为智能体配备各种工具,如 API、网络搜索服务和数据库等。这些外部依赖一旦出现服务中断、调用限流或延迟增加,都会大幅拉低用户体验。主动监控有助于迅速发现这些问题。
输出质量与准确性
用户体验不仅取决于响应速度,更取决于大模型输出的质量。大模型的行为并不总是可预测的——提示词、模型或输入的细微变动,都可能出乎意料地影响输出效果。
在受控评测中表现优异的提示词,在真实业务场景中也可能因为用户交互方式的差异而出现表现回退。基于反馈评分的告警(来自用户反馈或在线评估)能为这些质量下滑提供早期预警。
LangSmith 告警功能概览
LangSmith 支持针对以下指标设置告警:
- 错误次数与错误率
- 平均延迟
- 平均反馈评分
针对每个告警指标,您都可以借助丰富的过滤条件聚焦特定的运行调用子集(例如按模型、工具调用或运行类型进行筛选)。

接着,您可以设置聚合时间窗口(5 分钟或 15 分钟)以及触发阈值,以此调节告警的灵敏度。
最后一步是将告警打通到现有的工作流中。我们支持通过 PagerDuty 发送告警,也支持配置自定义 Webhook(例如直接将通知推送到 Slack 频道)。
就是这么简单!欢迎查阅官方文档了解详情,即刻开启 LangSmith 告警体验。
下一步规划
告警是任何可观测性产品不可或缺的一环。未来,我们还将陆续上线:
- 更多告警类型:运行次数与 LLM Token 消耗量
- 变动率告警:支持按相对变动幅度设置告警(例如延迟突增 25% 时触发告警)
- 支持自定义时间窗口的告警
如果您有任何反馈或功能需求,欢迎加入 LangChain Slack 社区与我们交流。如果尚未加入该社区,可以点击此处注册。
来源:LangChain Blog · langchain.com