跳到主要内容
Xinference 是一个功能强大且用途广泛的库，旨在为大型语言模型（LLM）、语音识别模型和多模态模型提供服务，甚至可以在您的笔记本电脑上运行。它支持多种与 GGML 兼容的模型，如 chatglm、baichuan、whisper、vicuna、orca 等。

​
概览

​
集成详情

类别包本地可序列化[JS 支持]下载量版本
ChatXinferencelangchain-xinference✅❌✅✅✅

​
模型功能

工具调用结构化输出JSON 模式图像输入音频输入视频输入令牌级流式传输原生异步Token 用量Logprobs
✅✅✅❌❌❌✅✅❌❌

​
设置

通过 PyPI 安装 Xinference 
pip install -qU  "xinference[all]"

​
在本地或分布式集群中部署 Xinference

对于本地部署，运行 xinference。 要在集群中部署 Xinference，首先使用 xinference-supervisor 启动一个 Xinference supervisor。您还可以使用选项 -p 指定端口，使用 -H 指定主机。默认端口为 8080，默认主机为 0.0.0.0。 然后，在您希望运行 Xinference worker 的每台服务器上使用 xinference-worker 启动它们。 您可以查阅 Xinference 的 README 文件以获取更多信息。

​
包装器

要将 Xinference 与 LangChain 结合使用，您需要首先启动一个模型。您可以通过命令行界面（CLI）来完成此操作 
%xinference launch -n vicuna-v1.3 -f ggmlv3 -q q4_0

Model uid: 7167b2b0-2a04-11ee-83f0-d29396a3f064
系统会返回一个模型 UID 供您使用。现在您可以将 Xinference 与 LangChain 结合使用

​
安装

LangChain Xinference 集成位于 langchain-xinference 包中 
pip install -qU langchain-xinference
请确保您正在使用最新版本的 Xinference 以获得结构化输出。

​
实例化

现在我们可以实例化我们的模型对象并生成聊天完成 
from langchain_xinference.chat_models import ChatXinference

llm = ChatXinference(
    server_url="your_server_url", model_uid="7167b2b0-2a04-11ee-83f0-d29396a3f064"
)

llm.invoke(
    "Q: where can we visit in the capital of France?",
    config={"max_tokens": 1024},
)

​
调用

from langchain.messages import HumanMessage, SystemMessage
from langchain_xinference.chat_models import ChatXinference

llm = ChatXinference(
    server_url="your_server_url", model_uid="7167b2b0-2a04-11ee-83f0-d29396a3f064"
)

system_message = "You are a helpful assistant that translates English to French. Translate the user sentence."
human_message = "I love programming."

llm.invoke([HumanMessage(content=human_message), SystemMessage(content=system_message)])

​
API 参考

有关 ChatXinference 所有功能和配置的详细文档，请访问 API 参考：github.com/TheSongg/langchain-xinference
在 GitHub 上编辑此页面源文件。
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.