跳到主要内容
本指南提供了 Baseten 聊天模型的快速入门概述。有关所有 ChatBaseten 功能、参数和配置的详细列表，请参阅 ChatBaseten API 参考。 Baseten 提供专为生产应用程序设计的推理。这些 API 基于 Baseten 推理栈构建，为领先的开源或自定义模型提供企业级性能和可靠性：https://www.baseten.co/library/。

​
概览

​
详情

类别包本地可序列化JS 支持下载量版本
ChatBasetenlangchain-baseten❌测试版❌PyPI - DownloadsPyPI - Version

​
特性

工具调用结构化输出JSON 模式图像输入音频输入视频输入令牌级流式传输原生异步Token 用量Logprobs
✅✅✅✅✅❌✅✅✅❌
模型 API 仅支持文本输入，而某些专用部署根据模型支持图像和音频输入。有关详细信息，请查看 Baseten 模型库：https://www.baseten.co/library/

​
设置

要访问 Baseten 模型，您需要创建一个 Baseten 帐户，获取 API 密钥，并安装 langchain-baseten 集成包。 前往此页面创建一个 Baseten 帐户并生成一个 API 密钥。完成此操作后，设置 BASETEN_API_KEY 环境变量：

​
凭据

设置 API 密钥
import getpass
import os

if "BASETEN_API_KEY" not in os.environ:
    os.environ["BASETEN_API_KEY"] = getpass.getpass("Enter your Baseten API key: ")
要启用模型调用的自动功能，请设置您的 LangSmith API 密钥
启用追踪
os.environ["LANGSMITH_API_KEY"] = getpass.getpass("Enter your LangSmith API key: ")
os.environ["LANGSMITH_TRACING"] = "true"

​
安装

LangChain Baseten 集成位于 langchain-baseten 包中 
pip install -U langchain-baseten

​
实例化

Baseten 提供两种访问聊天模型的方式
  1. 模型 API：用于访问最新、最受欢迎的开源模型。
  2. 专用 URL：使用具有专用资源的特定模型部署。
这两种方法都支持自动端点规范化。
使用模型 slug 进行初始化
from langchain_baseten import ChatBaseten

# Option 1: Use Model APIs with model slug
model = ChatBaseten(
    model="moonshotai/Kimi-K2-Instruct-0905",  # Choose from available model slugs: https://docs.baseten.co/development/model-apis/overview#supported-models
    api_key="your-api-key",  # Or set BASETEN_API_KEY env var
)
使用模型 URL 进行初始化
from langchain_baseten import ChatBaseten

# Option 2: Use dedicated deployments with model url
model = ChatBaseten(
    model_url="https://model-<id>.api.baseten.co/environments/production/predict",
    api_key="your-api-key",  # Or set BASETEN_API_KEY env var
)

​
调用

基本调用
# Use the chat model
response = model.invoke("Hello, how are you?")
print(response.content)

content="Hello! I'm doing well, thank you for asking! How about you?" additional_kwargs={} response_metadata={'finish_reason': 'stop'} id='run--908651ec-00d7-4992-a320-864397c14e37-0'
您也可以使用消息对象进行更复杂的对话 
messages = [
    {"role": "system", "content": "You are a poetry expert"},
    {"role": "user", "content": "Write a haiku about spring"},
]
response = model.invoke(messages)
print(response)

content='Buds yawn open wide—  \na robin stitches the hush  \nwith threads of first light.' additional_kwargs={} response_metadata={'finish_reason': 'stop'} id='run--6f7d1db7-daae-4628-a40a-2ab7323e8f15-0'
有关聊天模型调用类型、消息类型和内容块的完整指南可用。

​
API 参考

有关所有 ChatBaseten 功能和配置的详细文档，请参阅API 参考。
在 GitHub 上编辑此页面源文件。
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.