跳到主要内容
在使用 LangChain 构建应用程序或代理时,您会进行多次 API 调用来完成单个用户请求。然而,当您想要分析这些请求时,它们并没有被链接起来。借助 Portkey,来自单个用户请求的所有嵌入、补全和其他请求都将被记录并追踪到同一个 ID,使您能够全面了解用户交互。 本笔记本将作为分步指南,说明如何使用 Portkey 在 LangChain 应用程序中记录、追踪和监控 LangChain LLM 调用。 首先,让我们导入 Portkey、OpenAI 和 Agent 工具
import os

from langchain.agents import AgentExecutor, create_openai_tools_agent
from langchain_openai import ChatOpenAI
from portkey_ai import PORTKEY_GATEWAY_URL, createHeaders
在下方粘贴您的 OpenAI API 密钥。(您可以在此处找到它)
os.environ["OPENAI_API_KEY"] = "..."

获取 Portkey API 密钥

  1. 在此处注册 Portkey
  2. 在您的仪表板上,点击左下角的个人资料图标,然后点击“复制 API 密钥”
  3. 在下方粘贴
PORTKEY_API_KEY = "..."  # Paste your Portkey API Key here

设置追踪 ID

  1. 在下方设置您的请求的追踪 ID
  2. 追踪 ID 可以是源自单个请求的所有 API 调用的通用 ID
TRACE_ID = "uuid-trace-id"  # Set trace id here

生成 Portkey 标头

portkey_headers = createHeaders(
    api_key=PORTKEY_API_KEY, provider="openai", trace_id=TRACE_ID
)
定义要使用的提示和工具
from langchain_classic import hub
from langchain.tools import tool

prompt = hub.pull("hwchase17/openai-tools-agent")


@tool
def multiply(first_int: int, second_int: int) -> int:
    """Multiply two integers together."""
    return first_int * second_int


@tool
def exponentiate(base: int, exponent: int) -> int:
    "Exponentiate the base to the exponent power."
    return base**exponent


tools = [multiply, exponentiate]
像往常一样运行您的代理。唯一的改变是,我们现在将在请求中包含上述标头
model = ChatOpenAI(
    base_url=PORTKEY_GATEWAY_URL, default_headers=portkey_headers, temperature=0
)

# Construct the OpenAI Tools agent
agent = create_openai_tools_agent(model, tools, prompt)

# Create an agent executor by passing in the agent and tools
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)

agent_executor.invoke(
    {
        "input": "Take 3 to the fifth power and multiply that by thirty six, then square the result"
    }
)
> Entering new AgentExecutor chain...

Invoking: `exponentiate` with `{'base': 3, 'exponent': 5}`


243
Invoking: `multiply` with `{'first_int': 243, 'second_int': 36}`


8748
Invoking: `exponentiate` with `{'base': 8748, 'exponent': 2}`


76527504The result of taking 3 to the fifth power, multiplying it by 36, and then squaring the result is 76,527,504.

> Finished chain.
{'input': 'Take 3 to the fifth power and multiply that by thirty six, then square the result',
 'output': 'The result of taking 3 to the fifth power, multiplying it by 36, and then squaring the result is 76,527,504.'}

Portkey 上日志记录和追踪的工作原理

日志记录
  • 通过 Portkey 发送请求可确保默认记录所有请求
  • 每个请求日志都包含 timestampmodel nametotal costrequest timerequest jsonresponse json 以及额外的 Portkey 功能
追踪
  • 追踪 ID 会随每个请求一起传递,并在 Portkey 仪表板上的日志中可见
  • 如果需要,您还可以为每个请求设置一个独立的追踪 ID
  • 您还可以将用户反馈附加到追踪 ID。 有关此内容的更多信息请参见此处
对于上述请求,您将能够像这样查看完整的日志追踪 在 Portkey 上查看 LangChain 追踪

高级 LLMOps 功能 - 缓存、标签、重试

除了日志记录和追踪,Portkey 还提供了更多功能,为您的现有工作流增加了生产能力: 缓存 从缓存响应之前服务过的客户查询,而不是再次发送给 OpenAI。匹配精确字符串或语义相似字符串。缓存可以节省成本并将延迟降低 20 倍。文档 重试 自动重新处理任何不成功的 API 请求最多 5 次。使用指数退避策略,分散重试尝试以防止网络过载。文档 标签 使用预定义的标签详细跟踪和审计每个用户交互。文档
以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.