聊天模型 - LangChain 文档

聊天模型是使用一系列消息作为输入并返回消息作为输出的语言模型.

特色提供商

虽然所有这些LangChain类都支持所示的高级功能，但您可能需要打开特定提供商的文档以了解哪些托管模型或后端支持该功能。

提供商	工具调用	结构化输出	JSON 模式	本地	多模态	包
`ChatAnthropic`	✅	✅	❌	❌	✅	`langchain-anthropic`
`ChatOpenAI`	✅	✅	✅	❌	✅	`langchain-openai`
`AzureChatOpenAI`	✅	✅	✅	❌	✅	`langchain-openai`
`ChatVertexAI`	✅	✅	❌	❌	✅	`langchain-google-vertexai`
`ChatGoogleGenerativeAI`	✅	✅	❌	❌	✅	`langchain-google-genai`
`ChatGroq`	✅	✅	✅	❌	❌	`langchain-groq`
`ChatBedrock`	✅	✅	❌	❌	❌	`langchain-aws`
`ChatHuggingFace`	✅	✅	❌	✅	❌	`langchain-huggingface`
`ChatOllama`	✅	✅	✅	✅	❌	`langchain-ollama`
`ChatXAI`	✅	✅	❌	❌	❌	`langchain-xai`
`ChatNVIDIA`	✅	✅	✅	✅	✅	`langchain-nvidia-ai-endpoints`
`ChatCohere`	✅	✅	❌	❌	❌	`langchain-cohere`
`ChatMistralAI`	✅	✅	❌	❌	❌	`langchain-mistralai`
`ChatTogether`	✅	✅	✅	❌	❌	`langchain-together`
`ChatFireworks`	✅	✅	✅	❌	❌	`langchain-fireworks`
`ChatLlamaCpp`	✅	✅	❌	✅	❌	`langchain-community`
`ChatDatabricks`	✅	✅	❌	❌	❌	`databricks-langchain`
`ChatPerplexity`	❌	✅	✅	❌	✅	`langchain-perplexity`

聊天补全 API

某些模型提供商提供与 OpenAI 的聊天补全 API兼容的端点。在这种情况下，您可以使用自定义base_url的ChatOpenAI连接到这些端点。

示例：OpenRouter

要使用 OpenRouter，您需要注册一个帐户并获取API 密钥。

from langchain_openai import ChatOpenAI

model = ChatOpenAI(
    model="...",  # Specify a model available on OpenRouter
    api_key="OPENROUTER_API_KEY",
    base_url="https://openrouter.ai/api/v1",
)

有关更多详细信息，请参阅OpenRouter 文档。

要捕获推理令牌，

将导入从langchain_openai切换到langchain_deepseek
使用ChatDeepSeek而不是ChatOpenAI。您需要将参数base_url更改为api_base。
根据需要调整extra_body下的推理参数，例如

model = ChatDeepSeek(
    model="...",
    api_key="...",
    api_base="https://openrouter.ai/api/v1",
    extra_body={"reasoning": {"enabled": True}},
)

这是ChatOpenAI的一个已知限制，将在未来的版本中解决。

所有聊天模型

Abso

AI21 Labs

AI/ML API

Alibaba Cloud PAI EAS

Anthropic

AzureAIChatCompletionsModel

Azure OpenAI

Azure ML Endpoint

Baichuan Chat

Baidu Qianfan

Baseten

AWS Bedrock

Cerebras

CloudflareWorkersAI

Cohere

ContextualAI

Coze Chat

Dappier AI

Databricks

DeepInfra

DeepSeek

Eden AI

EverlyAI

Featherless AI

Fireworks

ChatFriendli

Goodfire

Google Gemini

Google Cloud Vertex AI

GPTRouter

DigitalOcean Gradient

GreenNode

Groq

ChatHuggingFace

IBM watsonx.ai

JinaChat

Kinetica

Konko

LiteLLM

Llama 2 Chat

Llama API

LlamaEdge

Llama.cpp

maritalk

MiniMax

MistralAI

MLX

ModelScope

Moonshot

Naver

Nebius

Netmind

NVIDIA AI Endpoints

ChatOCIModelDeployment

OCIGenAI

ChatOctoAI

Ollama

OpenAI

Outlines

Perplexity

Pipeshift

ChatPredictionGuard

PremAI

PromptLayer ChatOpenAI

Qwen QwQ

Qwen

Reka

RunPod Chat Model

SambaNovaCloud

SambaStudio

ChatSeekrFlow

Snowflake Cortex

SparkLLM Chat

Nebula (Symbl.ai)

Tencent Hunyuan

Together

Tongyi Qwen

Upstage

vLLM Chat

Volc Engine Maas

ChatWriter

xAI

Xinference

YandexGPT

ChatYI

Yuan2.0

ZHIPU AI

如果您想贡献一个集成，请参阅贡献集成。

在 GitHub 上编辑此页面源文件。

以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。

热门提供商

按组件划分的集成

​特色提供商

​聊天补全 API

​所有聊天模型

Abso

AI21 Labs

AI/ML API

Alibaba Cloud PAI EAS

Anthropic

AzureAIChatCompletionsModel

Azure OpenAI

Azure ML Endpoint

Baichuan Chat

Baidu Qianfan

Baseten

AWS Bedrock

Cerebras

CloudflareWorkersAI

Cohere

ContextualAI

Coze Chat

Dappier AI

Databricks

DeepInfra

DeepSeek

Eden AI

EverlyAI

Featherless AI

Fireworks

ChatFriendli

Goodfire

Google Gemini

Google Cloud Vertex AI

GPTRouter

DigitalOcean Gradient

GreenNode

Groq

ChatHuggingFace

IBM watsonx.ai

JinaChat

Kinetica

Konko

LiteLLM

Llama 2 Chat

Llama API

LlamaEdge

Llama.cpp

maritalk

MiniMax

MistralAI

MLX

ModelScope

Moonshot

Naver

Nebius

Netmind

NVIDIA AI Endpoints

ChatOCIModelDeployment

OCIGenAI

ChatOctoAI

Ollama

OpenAI

Outlines

Perplexity

Pipeshift

ChatPredictionGuard

PremAI

PromptLayer ChatOpenAI

Qwen QwQ

Qwen

Reka

RunPod Chat Model

SambaNovaCloud

SambaStudio

ChatSeekrFlow

Snowflake Cortex

SparkLLM Chat

Nebula (Symbl.ai)

Tencent Hunyuan

特色提供商

聊天补全 API

所有聊天模型