创建数据集并添加示例
以下部分解释了在 LangSmith 中创建数据集并向其中添加示例的不同方法。根据您的工作流程，您可以手动策划示例、从追踪中自动捕获、导入文件，甚至生成合成数据。从追踪项目手动添加
构建数据集的一个常见模式是将应用程序中的重要追踪转换为数据集示例。此方法要求您已将追踪配置到 LangSmith。一种构建数据集的技术是过滤最有趣的追踪，例如标记有不良用户反馈的追踪，并将它们添加到数据集中。有关如何过滤追踪的提示，请参阅过滤追踪指南。
-
从运行表中多选运行。在“运行”选项卡上，多选运行。在页面底部，单击 添加到数据集。
-
在“运行”选项卡上，从表中选择一个运行。在单个运行详细信息页面上，选择右上角的“添加到”->“数据集”。
从追踪项目自动添加
您可以使用运行规则根据特定条件自动将追踪添加到数据集。例如，您可以添加所有标记有特定用例或具有低反馈分数的追踪。从注释队列中的示例
如果您依赖领域专家构建有意义的数据集，请使用注释队列为审阅者提供精简的视图。人工审阅者可以在将追踪添加到数据集之前，选择性地修改追踪的输入/输出/参考输出。
D将运行添加到其中。 您在注释队列中对运行所做的任何修改都将延续到数据集，并且与运行关联的所有元数据也将被复制。 
从提示操作台
在提示操作台页面上，选择“设置评估”，如果您要开始一个新数据集，请单击“+新建”；或者从现有数据集中选择。提示操作台中不支持内联创建具有嵌套键的数据集。要添加/编辑具有嵌套键的示例，您必须从数据集页面进行编辑。
- 使用“+行”向数据集添加新示例
- 使用表格右侧的“⋮”下拉菜单删除示例
- 如果您正在创建无引用数据集，请使用列中的“x”按钮删除“引用输出”列。注意：此操作不可逆。
从 CSV 或 JSONL 文件导入数据集
在“数据集与实验”页面，点击“+新建数据集”，然后“导入”一个现有的 CSV 或 JSONL 文件数据集。从“数据集与实验”页面创建新数据集
- 从左侧菜单导航到“数据集与实验”页面。
- 点击“+新建数据集”。
- 在“新建数据集”页面，选择“从头创建”选项卡。
- 为数据集添加名称和描述。
- （可选）创建数据集模式以验证您的数据集。
- 点击“创建”，这将创建一个空数据集。
- 要在数据集页面上内联添加示例，请转到“示例”选项卡。单击“+示例”。
- 用 JSON 定义示例并单击“提交”。有关数据集拆分的更多详细信息，请参阅创建和管理数据集拆分。
添加由 LLM 创建的合成示例
如果您有现有的示例并且在您的数据集上定义了模式，当您点击“+ 示例”时，有一个选项可以 添加 AI 生成的示例。这将使用 LLM 创建合成示例。 在“生成示例”中，执行以下操作：- 点击窗格右上角的“API 密钥”将您的 OpenAI API 密钥设置为工作区秘密。如果您的工作区已设置 OpenAI API 密钥，则可以跳过此步骤。
- 选择：切换“自动”或“手动”参考示例。您可以从数据集中手动选择这些示例，或使用自动选择选项。
- 输入您要生成的合成示例的数量。
-
点击“生成”。
- 示例将出现在“选择生成的示例”页面。选择要添加到数据集的示例，并可以选择在最终确定之前进行编辑。点击“保存示例”。
-
每个示例将根据您指定的数据集模式进行验证，并在源元数据中标记为“合成”。
管理数据集
创建数据集模式
LangSmith 数据集存储任意 JSON 对象。我们建议（但非强制要求）您为数据集定义模式，以确保它们符合特定的 JSON 模式。数据集模式使用标准 JSON 模式定义，并添加了一些 预构建类型，这些类型使消息和工具等常见基本类型的类型化变得更容易。 模式中的某些字段具有“+ 转换”选项。转换是预处理步骤，如果启用，当您将示例添加到数据集时会更新它们。例如，“转换为 OpenAI 消息”转换会将类似消息的对象（如 LangChain 消息）转换为 OpenAI 消息格式。 有关可用转换的完整列表，请参阅我们的参考。如果您计划从 LangChain 聊天模型或使用 LangSmith OpenAI 包装器的 OpenAI 调用中收集生产追踪数据到您的数据集中，我们提供了一个预构建的聊天模型模式，可将消息和工具转换为行业标准的 OpenAI 格式，这些格式可用于下游的任何模型进行测试。您还可以自定义模板设置以匹配您的用例。请参阅数据集转换参考以获取更多信息。
创建和管理数据集拆分
数据集拆分是数据集的划分，您可以使用它来分割数据。例如，在机器学习工作流程中，通常会将数据集拆分为训练集、验证集和测试集。这有助于防止过拟合——即模型在训练数据上表现良好，但在未见过的数据上表现不佳。在评估工作流程中，当您有一个包含多个类别的数据集，并且您可能希望单独评估这些类别时，或者当您正在测试一个新用例，并且您可能希望将来将其包含在数据集中，但现在希望将其分开时，这会很有用。请注意，可以通过元数据手动实现相同的效果——但我们期望拆分用于数据集的更高级别组织，以便将其拆分为独立的组进行评估，而元数据则更多地用于存储示例信息，例如标签和来源信息。 在机器学习中，最好保持您的拆分是独立的（每个示例只属于一个拆分）。但是，我们允许您在 LangSmith 中为同一示例选择多个拆分，因为这对于某些评估工作流程可能是有意义的——例如，如果一个示例属于您可能希望评估应用程序的多个类别。 要在应用程序中创建和管理拆分，您可以选择数据集中的一些示例，然后点击“添加到拆分”。在弹出的菜单中，您可以为选定的示例选择和取消选择拆分，或者创建新的拆分。
编辑示例元数据
您可以通过单击示例，然后单击弹出窗口右上角的“编辑”来向示例添加元数据。在此页面上，您可以更新/删除现有元数据，或添加新元数据。您可以使用此功能存储有关示例的信息，例如标签或版本信息，然后在分析实验结果时按此信息进行分组，或在 SDK 中调用list_examples时按此信息进行筛选。 
过滤示例
您可以按拆分、元数据键/值过滤示例，或对示例执行全文搜索。这些过滤选项位于示例表的左上方。- 按拆分过滤：选择拆分 > 选择要过滤的拆分
- 按元数据过滤：过滤器 > 从下拉菜单中选择“元数据”> 选择要过滤的元数据键和值
- 全文搜索：过滤器 > 从下拉菜单中选择“全文”> 输入您的搜索条件
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。