跳到主要内容
作为评估器的 LLM 并非总是能给出正确的分数。因此,人工手动审核评估器留下的分数并在必要时进行纠正通常很有用。LangSmith 允许您在 UI 或 SDK 中对评估器分数进行纠正。

在比较视图中

在比较视图中,您可以点击任何反馈标签以调出反馈详细信息。从那里,点击右侧的“编辑”图标以调出纠正视图。然后,您可以在“进行纠正”下的文本框中输入您想要的分数。如果您愿意,您还可以为您的纠正附上解释。如果您使用的是少样本评估器,这会很有用,并且会自动插入到您的少样本示例中,替换few_shot_explanation提示变量。 审核评估器比较视图

在运行表中

在运行表中,找到“反馈”列并点击反馈标签以调出反馈详细信息。同样,点击右侧的“编辑”图标以调出纠正视图。 审核评估器运行表

在 SDK 中

可以通过 SDK 的 update_feedback 函数并带有 correction 字典进行纠正。您必须指定一个 score 键,它对应一个数字,以便在 UI 中渲染。
import langsmith

client = langsmith.Client()

client.update_feedback(
    my_feedback_id,
    correction={
        "score": 1,
    },
)

以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.