将代理部署到 LangSmith 时,您可以在服务器中添加自定义中间件,以处理日志请求指标、注入或检查标头以及强制执行安全策略等问题,而无需修改核心服务器逻辑。这与添加自定义路由的方式相同。您只需要提供自己的Starlette应用程序(包括FastAPI、FastHTML和其他兼容应用程序)。 添加中间件允许您在全球范围内拦截和修改部署中的请求和响应,无论它们是命中您的自定义端点还是内置的 LangSmith API。 下面是使用 FastAPI 的示例。“仅限 Python” 我们目前仅支持 langgraph-api>=0.0.26 的 Python 部署中的自定义中间件。
创建应用
从一个现有的 LangSmith 应用程序开始,将以下中间件代码添加到您的 webapp.py 文件中。如果您是从头开始,可以使用 CLI 从模板创建新应用程序。
langgraph new --template=new-langgraph-project-python my_new_project
拥有 LangGraph 项目后,添加以下应用程序代码
# ./src/agent/webapp.py
from fastapi import FastAPI, Request
from starlette.middleware.base import BaseHTTPMiddleware
app = FastAPI()
class CustomHeaderMiddleware(BaseHTTPMiddleware):
async def dispatch(self, request: Request, call_next):
response = await call_next(request)
response.headers['X-Custom-Header'] = 'Hello from middleware!'
return response
# Add the middleware to the app
app.add_middleware(CustomHeaderMiddleware)
将以下内容添加到您的 langgraph.json 配置文件中。确保路径指向您上面创建的 webapp.py 文件。
{
"dependencies": ["."],
"graphs": {
"agent": "./src/agent/graph.py:graph"
},
"env": ".env",
"http": {
"app": "./src/agent/webapp.py:app"
}
// Other configuration options like auth, store, etc.
}
自定义中间件排序
默认情况下,自定义中间件在身份验证逻辑之前运行。要在身份验证之后运行自定义中间件,请在 http 配置中将 middleware_order 设置为 auth_first。(此自定义功能从 API 服务器 v0.4.35 及更高版本开始支持。)
{
"dependencies": ["."],
"graphs": {
"agent": "./src/agent/graph.py:graph"
},
"env": ".env",
"http": {
"app": "./src/agent/webapp.py:app",
"middleware_order": "auth_first"
},
"auth": {
"path": "./auth.py:my_auth"
}
}
启动服务器
在本地测试服务器
langgraph dev --no-browser
现在,对您服务器的任何请求都将在其响应中包含自定义标头 X-Custom-Header。
部署中
您可以按原样将此应用程序部署到云端或您的自托管平台。
后续步骤
现在您已将自定义中间件添加到部署中,您可以使用类似的技术来添加自定义路由或定义自定义生命周期事件,以进一步自定义服务器的行为。