创建标注队列
基本详情
填写队列的名称和描述。您还可以为队列分配默认数据集，这将简化将某些运行的输入和输出发送到 LangSmith 工作区中数据集的过程。标注准则
首先，为您的标注者起草一些高级指示，这些指示将显示在每次运行的侧边栏中。 接下来，点击“+ 期望反馈”为您的标注队列添加反馈键。标注者将在每次运行中看到这些反馈键。为每个反馈键添加描述，如果反馈是分类的，还要为每个类别添加简短描述。
协作设置
有几个与多个标注者相关的设置-
每次运行的审阅者数量：这决定了必须将运行标记为“完成”才能将其从队列中移除的审阅者数量。如果您勾选“所有工作区成员审阅每次运行”，则运行将保留在队列中，直到所有工作区成员都将其标记为“完成”。
- 审阅者无法查看其他审阅者留下的反馈。
- 运行上的评论对所有审阅者可见。
- 启用运行保留：我们建议启用保留。这将防止多个标注者同时审阅同一运行。
- 保留如何运作？
- 如果时间用完会发生什么？
点击“在末尾重新入队”只会将当前运行移动到当前用户的队列末尾；它不会影响任何其他用户的队列顺序。它还会释放当前用户对该运行的保留。
将运行分配到标注队列
要将运行分配到标注队列，请执行以下操作之一：-
点击任何跟踪视图右上角的“添加到标注队列”。您可以将跟踪的任何中间运行（span）添加到标注队列中，而不仅仅是根 span。
-
在运行表中选择多个运行，然后点击页面底部的“添加到标注队列”。
- 设置自动化规则，该规则会自动将通过特定筛选和采样条件的运行分配到标注队列。
-
从数据集页面中选择一个或多个实验，然后点击“标注”。在弹出的窗口中，您可以创建新队列或将运行添加到现有队列中：
通常，将具有特定用户反馈分数（例如赞成、反对）的运行从应用程序分配到标注队列是一个非常好的主意。这样，您可以识别并解决导致用户不满的问题。要了解如何从您的 LLM 应用程序捕获用户反馈，请参阅本指南。
在标注队列中查看运行
要在标注队列中查看运行，请通过主页或左侧导航栏导航到“标注队列”部分。然后点击您要查看的队列。这将带您进入队列中需要审阅的运行的集中、循环视图。 您可以附加评论、为特定反馈标准附加分数、将运行添加到数据集和/或将运行标记为已审阅。您还可以通过点击“查看运行”旁边的“垃圾桶”图标，从所有用户队列中移除该运行，无论当前是否存在保留或队列设置。 所示的键盘快捷键可以帮助简化审阅过程。
视频指南
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。