部署自定义模型服务器
为方便起见,我们提供了一个示例模型服务器,您可以将其用作参考。您可以在此处找到示例模型服务器。我们强烈建议您将示例模型服务器作为起点。 根据您的模型是指令式模型还是对话式模型,您需要分别实现custom_model.py或custom_chat_model.py。添加可配置字段
使用不同的参数配置模型通常很有用。这些参数可能包括温度、模型名称、最大令牌数等。 为了使您的模型在 LangSmith Playground 中可配置,您需要向模型服务器添加可配置字段。这些字段可用于从 Playground 更改模型参数。 您可以通过在config.py文件中实现with_configurable_fields函数来添加可配置字段。在 LangSmith Playground 中使用模型
部署模型服务器后,您可以在 LangSmith Playground 中使用它。进入 Playground 并选择ChatCustomModel或CustomModel提供程序,分别用于对话式模型或指令式模型。 输入URL。Playground 将自动检测可用的端点和可配置字段。然后,您可以使用所需的参数调用模型。 
with_configurable_fields中指定的可配置字段。 有关如何存储模型配置以备后用的信息,请参阅此处。以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。