跳到正文
LangChain Blog·· 4 天前精选AI 评分72

LangSmith 推出数据标注队列功能

Announcing Data Annotation Queues

AI 导读

LangSmith 推出数据标注队列功能,帮助开发者在生产日志中筛选数据点并完成人工审查与标注。用户可以直接在标注界面编辑数据文本、添加正负标签,并一键将其沉淀为评测或微调数据集;同时推荐了由社区开发者打造的开源本地提取工具 langfree。

推荐理由

原文给出了从筛选日志到人工标注并沉淀数据集的闭环操作,为缺乏生产评测集的团队提供了落地工作流。

正文 · AI 翻译

💡

数据标注队列(Data Annotation Queues)是 LangSmith 推出的全新功能。作为专为开发者打造的平台,LangSmith 致力于帮助大语言模型应用从原型走向生产环境。欢迎点击此处申请体验测试版。

推出 LangSmith 的初衷,就是让 LLM 应用从原型走向生产落地变得更简单。在这个过程中,最大的拦路虎之一在于如何提升应用性能,让它足够可靠,而不只是停留在发发推特展示的小玩具阶段。

要做到这一点,有几种常见方法。最基础的一步,就是仔细查看数据,直观感受链(chain)在哪些环节表现欠佳。

💡

我发现优秀 AI 研究员的一个共同特质是:他们愿意手动检查大量数据。不仅如此,他们还会搭建基础设施,让自己能够快速手动审查数据。人工排查数据虽然费时费力、看起来不够高大上,但它能让你对问题建立极其宝贵的直觉认知。—— Jason Wei,OpenAI

在此基础上,准备一个测试用例数据集来运行并评估链的性能也很有帮助。接下来,你可以利用少样本提示(few-shot prompting)等技术进行上下文学习,进而提升模型表现。再进一步,你还可以使用样本对模型进行微调。

值得注意的是,上述所有方法都依赖与你的应用场景强相关的具体数据点。而大多数人在刚起步时往往缺乏这类数据!相比传统机器学习,大语言模型最大的优势之一在于极大地降低了构建应用的门槛——你无需准备数据集来训练模型,直接调用 API 即可上手。这在起步阶段固然极好,但一旦需要深入打磨并优化链的性能时,问题就随之而来了。

为帮助解决这些难题,我们在 LangSmith 中推出了新功能:数据标注队列(Data Annotation Queues)。这一功能旨在让开发者更轻松地审查日志、对日志进行反馈,并直接从日志中构建数据集。与此同时,我们也向大家推荐由 Hamel Husain 开发的开源工具包 langfree,它可以在本地实现类似的部分功能。

数据标注队列

数据标注队列的设计初衷,是为审查链的调用日志提供最理想的交互体验,方便用户对其进行标注(如标记正误),或将其加入数据集以供下游任务使用。

我们在日志页面新增了“添加到数据标注队列”的操作,让整个流程变得非常顺畅。你可以根据特定筛选条件轻松查询数据点,然后将其批量加入队列。比如,你可以筛选出所有收到用户负面反馈的数据点,以便深入排查具体原因。

进入标注队列后,你可以轻松查看每个数据点。我们设想了两种最常见的操作:

  1. 为数据点添加标注。这可以是一个标签(如好/差)、一个分类(如英语/西班牙语等),或任何你需要的标记。
  2. 将该数据点加入数据集。在此过程中,你可能需要在添加前对其进行编辑——例如,若某个数据点的回答有误,你可以在入库前将其修改为正确答案。

为了支持这些操作,我们在界面右侧的最显眼位置设置了反馈面板,并支持直接编辑数据点文本。需要注意的是,修改文本后,你仍需点击“Add to Dataset”(添加到数据集)才能将其正式加入数据集。

此外,你还可以通过底部的按钮执行更多操作:

  • “移至末尾”(Move to end)——将该数据点移至队列末尾,相当于暂时跳过,稍后再来处理。
  • “完成”(Done)——标记当前数据点已审核完毕。

Langfree

在发布数据标注队列(Data Annotation Queue)的同时,我们也很高兴向大家介绍由 Hamel Husain 开发的开源工具包 langfree,它在方向上与我们不谋而合。

💡

langfree 能帮你从 LangSmith 存储的 trace 中提取、转换并整理 ChatOpenAI 的运行记录,供模型微调和评估使用。

它的目标与数据标注队列类似,提供了一个开源的替代方案;如果你想以任何方式自定义标注或数据集整理工作流,它会很有帮助。我们非常高兴能分享这个工具,因为我们深知大模型应用开发才刚刚起步,能有这样开源且支持定制的工具尤为宝贵——感谢 Hamel 的贡献!

与 Hamel 的合作体验非常棒,在开发数据标注队列的过程中,他提出了大量宝贵反馈!Hamel 还经营着 Parlance Labs——这是我们最青睐的合作伙伴之一,我们非常推荐与他合作。

结语

数据标注队列旨在帮助团队更轻松地探索数据、标注样本并构建数据集。要想将大语言模型(LLM)应用从原型落地到生产环境,这类数据探索与数据集整理工作不可或缺。

而且,起步阶段并不需要海量数据!我们见过不少团队仅用少数几个样本就搭建起了极具价值的基准测试。关键在于两点:(1) 切合你的具体使用场景;(2) 数据点本身质量过硬。如果你在起步阶段需要帮助,欢迎随时直接联系我们!

来源:LangChain Blog · langchain.com

EVAOO 主站实战落地 · AI Agent 与研发提效

看完情报?回到 EVAOO 主站直接上手工具与完整 SOP

返回 EVAOO 主站