跳到主要内容
当您迭代您的LLM应用程序(例如更改模型或提示)时,您将希望比较不同实验的结果。 LangSmith支持比较视图,让您能够深入了解不同实验之间的关键差异、退步和改进。

打开比较视图

  1. 要访问实验比较视图,请导航到数据集和实验页面。
  2. 选择一个数据集,这将打开实验选项卡。
  3. 选择两个或更多实验,然后单击比较
The Experiments view in the UI with 3 experiments selected and the Compare button highlighted.

调整表格显示

您可以通过单击比较实验页面顶部的完整紧凑来切换不同的视图。 切换完整将显示每个运行的输入、输出和参考输出的完整文本。如果参考输出太长无法在表格中显示,您可以单击展开详细视图以查看完整内容。 您还可以在显示设置下拉菜单中选择和隐藏单个反馈键或单个指标,以隔离比较视图中所需的信息。

查看退步和改进

在比较视图中,相对于基线实验,在您指定的反馈键上退步的运行将以红色突出显示,而改进的运行将以绿色突出显示。在每列的顶部,您可以找到该实验中有多少运行表现优于基线实验,有多少表现差于基线实验。 单击每列顶部的退步或改进按钮,以筛选出该特定实验中退步或改进的运行。 比较视图比较了2个实验,退步和改进分别用红色和绿色突出显示。

更新基线实验和指标

为了跟踪退步,您需要
  1. 在比较视图顶部的基线下拉菜单中,选择一个基线实验进行比较。默认情况下,选择最新的实验作为基线。
  2. 选择一个您想重点比较的反馈键(评估指标)。默认会分配一个,但您可以根据需要进行调整。
  3. 配置所选反馈键是否得分越高越好。此偏好将被存储。
The Baseline dropdown highlighted with a selected experiment and feedback key of "hallucination".

打开跟踪

如果您正在评估的示例来自已摄入的运行,您可以将鼠标悬停在输出单元格上,然后单击跟踪图标以打开该运行的跟踪视图。这将在侧面板中打开一个跟踪。 从已摄取运行中突出显示的查看跟踪图标。

展开详细视图

从任何单元格,您可以单击悬停状态下的展开图标,以打开该特定示例输入的所有实验结果的详细视图,以及反馈键和分数。 比较实验视图中重复展开视图的示例。

查看摘要图表

通过单击页面顶部的图表选项卡来查看摘要图表。 图表摘要页面,包含8个用于比较的摘要图表。

使用实验元数据作为图表标签

您可以根据实验元数据配置图表的x轴标签。 x轴下拉菜单中选择一个元数据键来更改图表标签。 突出显示x轴下拉菜单,其中包含附加到实验的元数据列表。
以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.