跳到主要内容
TrueFoundry 提供了一个企业级AI 网关，为 LangChain 等代理框架提供治理和可观察性。TrueFoundry AI 网关作为 LLM 访问的统一接口，提供：
  • 统一 API 访问：通过一个 API 连接到 250 多个 LLM（OpenAI、Claude、Gemini、Groq、Mistral）
  • 低延迟：通过智能路由和负载均衡实现亚 3 毫秒的内部延迟
  • 企业安全：符合 SOC 2、HIPAA、GDPR 标准，支持 RBAC 和审计日志
  • 配额和成本管理：基于令牌的配额、速率限制和全面的使用情况跟踪
  • 可观察性：完整的请求/响应日志、指标和可定制保留期的跟踪

​
先决条件

在将 LangChain 与 TrueFoundry 集成之前，请确保您拥有：
  1. TrueFoundry 账户：一个已配置至少一个模型提供商的TrueFoundry 账户。请在此处查看快速入门指南
  2. 个人访问令牌：按照TrueFoundry 令牌生成指南生成令牌

​
快速入门

您可以通过 ChatOpenAI 接口连接到 TrueFoundry 的统一 LLM 网关。
  • 将 base_url 设置为您的 TrueFoundry 端点（如下所述）
  • 将 api_key 设置为您的 TrueFoundry PAT（个人访问令牌）
  • 使用与统一代码片段中显示的相同的 model-name

​
安装

pip install langchain-openai

​
基本设置

通过更新 LangChain 中的 ChatOpenAI 模型连接到 TrueFoundry 
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    api_key=TRUEFOUNDRY_API_KEY,
    base_url=TRUEFOUNDRY_GATEWAY_BASE_URL,
    model="openai-main/gpt-4o"  # Similarly you can call any model from any model provider
)

llm.invoke("What is the meaning of life, universe and everything?")
请求通过您的 TrueFoundry 网关路由到指定的模型提供商。TrueFoundry 自动处理速率限制、负载均衡和可观察性。

​
LangGraph 集成

from langchain_openai import ChatOpenAI
from langgraph.graph import StateGraph, MessagesState
from langchain.messages import HumanMessage

# Define your LangGraph workflow
def call_model(state: MessagesState):
    model = ChatOpenAI(
        api_key=TRUEFOUNDRY_API_KEY,
        base_url=TRUEFOUNDRY_GATEWAY_BASE_URL,
        # Copy the exact model name from gateway
        model="openai-main/gpt-4o"
    )
    response = model.invoke(state["messages"])
    return {"messages": [response]}

# Build workflow
workflow = StateGraph(MessagesState)
workflow.add_node("agent", call_model)
workflow.set_entry_point("agent")
workflow.set_finish_point("agent")

app = workflow.compile()

# Run agent through TrueFoundry
result = app.invoke({"messages": [HumanMessage(content="Hello!")]})

​
可观察性和治理

通过指标仪表板，您可以监控和分析：
  • 性能指标：使用 P99、P90 和 P50 百分位数跟踪关键延迟指标，如请求延迟、首个令牌时间 (TTFS) 和令牌间延迟 (ITL)
  • 成本和令牌使用情况：通过详细的输入/输出令牌细分以及每个模型的相关费用，了解您的应用程序成本
  • 使用模式：通过用户活动、模型分布和基于团队的使用情况的详细分析，了解您的应用程序使用情况
  • 速率限制与负载均衡：配置限制、在模型之间分配流量并设置回退

​
支持

如有问题、疑问或需要支持，请联系：
在 GitHub 上编辑此页面源文件。
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.