跳到主要内容
LangSmith Playground 允许您使用自己的自定义模型。您可以部署一个模型服务器,通过 LangServe(一个用于服务 LangChain 应用程序的开源库)公开您的模型 API。在幕后,Playground 将与您的模型服务器交互以生成响应。

部署自定义模型服务器

为方便起见,我们提供了一个示例模型服务器,您可以将其用作参考。您可以在此处找到示例模型服务器。我们强烈建议您将示例模型服务器作为起点。 根据您的模型是指令式模型还是对话式模型,您需要分别实现custom_model.pycustom_chat_model.py

添加可配置字段

使用不同的参数配置模型通常很有用。这些参数可能包括温度、模型名称、最大令牌数等。 为了使您的模型在 LangSmith Playground 中可配置,您需要向模型服务器添加可配置字段。这些字段可用于从 Playground 更改模型参数。 您可以通过在config.py文件中实现with_configurable_fields函数来添加可配置字段。
def with_configurable_fields(self) -> Runnable:
    """Expose fields you want to be configurable in the playground. We will automatically expose these to the
    playground. If you don't want to expose any fields, you can remove this method."""
    return self.configurable_fields(n=ConfigurableField(
        id="n",
        name="Num Characters",
        description="Number of characters to return from the input prompt.",
    ))

在 LangSmith Playground 中使用模型

部署模型服务器后,您可以在 LangSmith Playground 中使用它。进入 Playground 并选择ChatCustomModelCustomModel提供程序,分别用于对话式模型或指令式模型。 输入URL。Playground 将自动检测可用的端点和可配置字段。然后,您可以使用所需的参数调用模型。 Playground 中的 ChatCustomModel 如果一切设置正确,您应该在 Playground 中看到模型的响应以及with_configurable_fields中指定的可配置字段。 有关如何存储模型配置以备后用的信息,请参阅此处
以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.