跳到主要内容
虽然您可以手动筛选和处理 LLM 应用程序的生产日志,但随着应用程序扩展到更多用户,这通常会变得很困难。LangSmith 提供了一个名为 自动化 的强大功能,允许您在跟踪数据上触发某些操作。从高层次上看,自动化由 筛选器采样率操作 定义。 自动化规则可以触发以下操作:将跟踪添加到数据集、添加到注释队列、触发 Webhook(例如,用于远程评估)或延长数据保留期限。您可以设置的一些自动化示例:
  • 将所有带有负面反馈的跟踪发送到注释队列进行人工审查
  • 将所有跟踪的 10% 发送到注释队列进行人工审查,以检查问题
  • 将所有带有错误的跟踪升级为延长数据保留期限
要配置在线评估,请访问在线评估页面。
如果自动化规则与跟踪中的任何运行匹配,则该跟踪将自动升级为延长数据保留期限。此升级将影响跟踪定价,但可确保满足您的自动化条件(通常是对分析最有价值的那些)的跟踪被保留以供调查。

查看自动化规则

前往跟踪项目选项卡并选择一个跟踪项目。要查看该跟踪项目的现有自动化规则,请单击自动化选项卡。 查看自动化规则

创建规则

1. 导航到规则创建页面

前往跟踪项目选项卡并选择一个跟踪项目。单击跟踪项目页面右上角的+ 新建,然后单击新建自动化

2. 命名您的规则

3. 创建筛选器

自动化规则筛选器的工作方式与应用于项目中跟踪的筛选器相同。有关筛选器的更多信息,您可以参考本指南

4. 配置采样率

配置采样率以控制触发自动化操作的筛选运行的百分比。 您可以为自动化指定 0 到 1 之间的采样率。这将控制发送到自动化操作的筛选运行的百分比。例如,如果将采样率设置为 0.5,则通过筛选的跟踪的 50% 将发送到操作。

5. (可选)将规则应用于过去的运行

通过切换应用于过去的运行并输入“从何时回填”日期,将规则应用于过去的运行。这只有在规则创建时才可能。注意:回填作为后台作业处理,因此您不会立即看到结果。为了跟踪回填进度,您可以查看自动化的日志

6. 选择应用规则时触发的操作。

您可以使用自动化规则执行四种操作
  • 添加到数据集:将跟踪的输入和输出添加到数据集
  • 添加到注释队列:将跟踪添加到注释队列
  • 触发 Webhook:使用跟踪数据触发 Webhook。有关 Webhook 的更多信息,您可以参考本指南
  • 延长数据保留期限:延长使用基本保留期的匹配跟踪的数据保留期限(有关更多详细信息,请参阅数据保留文档)。请注意,所有其他规则也将通过上述数据保留文档中描述的自动升级机制延长匹配跟踪的数据保留期限,但此规则不执行任何额外操作。

查看自动化日志

日志允许您确信您的规则按预期工作。您可以通过导航到跟踪项目中的自动化选项卡,然后单击您创建的规则的日志按钮来查看自动化的日志。 日志选项卡允许您:
  • 查看所选时间段内给定规则处理的所有运行
  • 如果某个规则执行触发了错误,您可以通过将鼠标悬停在错误图标上来查看错误消息
  • 您可以通过筛选到规则的创建时间戳来监视回填作业的进度。这是因为回填从规则创建时开始。
  • 使用查看运行按钮检查自动化规则应用的运行。对于将运行作为示例添加到数据集的规则,您可以查看生成的示例。
Logs_Gif

视频指南


以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.