Portkey 在 LangChain 应用程序中记录、追踪和监控 LangChain LLM 调用。 首先,让我们导入 Portkey、OpenAI 和 Agent 工具获取 Portkey API 密钥
- 在此处注册 Portkey
- 在您的仪表板上,点击左下角的个人资料图标,然后点击“复制 API 密钥”
- 在下方粘贴
设置追踪 ID
- 在下方设置您的请求的追踪 ID
- 追踪 ID 可以是源自单个请求的所有 API 调用的通用 ID
生成 Portkey 标头
Portkey 上日志记录和追踪的工作原理
日志记录- 通过 Portkey 发送请求可确保默认记录所有请求
- 每个请求日志都包含
timestamp、model name、total cost、request time、request json、response json以及额外的 Portkey 功能
- 追踪 ID 会随每个请求一起传递,并在 Portkey 仪表板上的日志中可见
- 如果需要,您还可以为每个请求设置一个独立的追踪 ID
- 您还可以将用户反馈附加到追踪 ID。 有关此内容的更多信息请参见此处
高级 LLMOps 功能 - 缓存、标签、重试
除了日志记录和追踪,Portkey 还提供了更多功能,为您的现有工作流增加了生产能力: 缓存 从缓存响应之前服务过的客户查询,而不是再次发送给 OpenAI。匹配精确字符串或语义相似字符串。缓存可以节省成本并将延迟降低 20 倍。文档 重试 自动重新处理任何不成功的 API 请求最多 5 次。使用指数退避策略,分散重试尝试以防止网络过载。文档 标签 使用预定义的标签详细跟踪和审计每个用户交互。文档以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。