跳到主要内容
本 Notebook 介绍了如何在 LangChain 中使用 Xinference 嵌入

​
安装

通过 PyPI 安装 Xinference 
pip install -qU  "xinference[all]"

​
在本地或分布式集群中部署 Xinference

对于本地部署，运行 xinference。 要在集群中部署 Xinference，首先使用 xinference-supervisor 启动一个 Xinference supervisor。您还可以使用选项 -p 指定端口和 -H 指定主机。默认端口是 9997。 然后，在您希望运行它们的每个服务器上使用 xinference-worker 启动 Xinference worker。 您可以查阅 Xinference 的 README 文件以获取更多信息。

​
包装器

要将 Xinference 与 LangChain 结合使用，您需要首先启动一个模型。您可以通过命令行界面（CLI）来完成此操作 
!xinference launch -n vicuna-v1.3 -f ggmlv3 -q q4_0

Model uid: 915845ee-2a04-11ee-8ed4-d29396a3f064
将返回一个模型 UID 供您使用。现在您可以在 LangChain 中使用 Xinference 嵌入 
from langchain_community.embeddings import XinferenceEmbeddings

xinference = XinferenceEmbeddings(
    server_url="http://0.0.0.0:9997", model_uid="915845ee-2a04-11ee-8ed4-d29396a3f064"
)

query_result = xinference.embed_query("This is a test query")

doc_result = xinference.embed_documents(["text A", "text B"])
最后，当您不再需要使用模型时，请终止它 
!xinference terminate --model-uid "915845ee-2a04-11ee-8ed4-d29396a3f064"
在 GitHub 上编辑此页面源文件。
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.