Qdrant(读作:quadrant)是一个向量相似度搜索引擎。它提供了一个生产就绪的服务,具有方便的 API,用于存储、搜索和管理带有额外有效负载和扩展过滤支持的向量。这使得它适用于各种神经网络或基于语义的匹配、分面搜索以及其他应用程序。本文档演示了如何将 Qdrant 与 LangChain 结合使用,进行稠密(即基于嵌入)、稀疏(即文本搜索)和混合检索。
QdrantVectorStore 类通过 Qdrant 新的查询 API 支持多种检索模式。它要求您运行 Qdrant v1.10.0 或更高版本。
设置
运行Qdrant 有多种模式,根据选择的模式,会有一些细微的差异。选项包括:
- 本地模式,无需服务器
- Docker 部署
- Qdrant 云
凭据
在此 notebook 中运行代码不需要凭据。 如果您想获得一流的模型调用自动化跟踪,您还可以通过取消注释下方内容来设置您的LangSmith API 密钥:初始化
本地模式
Python 客户端提供了在本地模式下运行代码的选项,无需运行 Qdrant 服务器。这非常适合测试和调试,或仅存储少量向量。嵌入可以完全保存在内存中或持久化到磁盘上。内存中
对于某些测试场景和快速实验,您可能更喜欢只将所有数据保存在内存中,这样当客户端被销毁时(通常在脚本/notebook 结束时),数据就会被移除。磁盘存储
在不使用 Qdrant 服务器的本地模式下,也可以将您的向量存储在磁盘上,以便它们在运行之间持久存在。本地服务器部署
无论您是选择通过Docker 容器在本地启动 Qdrant,还是选择使用官方 Helm chart 进行 Kubernetes 部署,连接到此类实例的方式都将是相同的。您需要提供指向服务的 URL。Qdrant 云
如果您不想自己忙于管理基础设施,可以选择在Qdrant Cloud 上设置一个完全托管的 Qdrant 集群。其中包含一个永久免费的 1GB 集群供您试用。使用托管版 Qdrant 的主要区别在于,您需要提供 API 密钥来保护您的部署不被公开访问。该值也可以在QDRANT_API_KEY 环境变量中设置。
使用现有集合
要在不加载任何新文档或文本的情况下获取langchain_qdrant.Qdrant 实例,您可以使用 Qdrant.from_existing_collection() 方法。
管理向量存储
创建向量存储后,我们可以通过添加和删除不同的项目来与其交互。向向量存储添加项目
我们可以使用add_documents 函数将项目添加到向量存储中。
从向量存储中删除项目
查询向量存储
创建向量存储并添加相关文档后,您很可能希望在链或代理运行时查询它。直接查询
使用 Qdrant 向量存储最简单的场景是执行相似度搜索。在底层,我们的查询将被编码为向量嵌入,并用于在 Qdrant 集合中查找相似文档。QdrantVectorStore 支持 3 种相似度搜索模式。它们可以使用 retrieval_mode 参数进行配置。
- 稠密向量搜索(默认)
- 稀疏向量搜索
- 混合搜索
稠密向量搜索
稠密向量搜索涉及通过基于向量的嵌入计算相似度。要仅使用稠密向量进行搜索,请执行以下操作:retrieval_mode参数应设置为RetrievalMode.DENSE。这是默认行为。- 应向
embedding参数提供稠密嵌入值。
稀疏向量搜索
要仅使用稀疏向量进行搜索,请执行以下操作:retrieval_mode参数应设置为RetrievalMode.SPARSE。- 必须将使用任何稀疏嵌入提供程序的
SparseEmbeddings接口实现作为值提供给sparse_embedding参数。
langchain-qdrant 包提供了基于 FastEmbed 的开箱即用实现。 要使用它,请安装 FastEmbed 包。混合向量搜索
要使用稠密和稀疏向量进行混合搜索并进行得分融合,请执行以下操作:retrieval_mode参数应设置为RetrievalMode.HYBRID。- 应向
embedding参数提供稠密嵌入值。 - 必须将使用任何稀疏嵌入提供程序的
SparseEmbeddings接口实现作为值提供给sparse_embedding参数。
HYBRID 模式添加了文档,那么在搜索时可以切换到任何检索模式,因为稠密和稀疏向量都可在集合中获得。
QdrantVectorStore 可用的所有搜索功能的完整列表,请阅读API 参考
元数据过滤
Qdrant 具有广泛的过滤系统,并支持丰富的类型。也可以在 LangChain 中使用过滤器,通过向similarity_search_with_score 和 similarity_search 方法传递一个附加参数。
通过转换为检索器进行查询
您还可以将向量存储转换为检索器,以便在您的链中更轻松地使用。用于检索增强生成的使用
有关如何将此向量存储用于检索增强生成 (RAG) 的指南,请参阅以下部分自定义 Qdrant
在 LangChain 应用程序中,有选项可以使用现有的 Qdrant 集合。在这种情况下,您可能需要定义如何将 Qdrant 点映射到 LangChainDocument。
命名向量
Qdrant 支持通过命名向量每个点多个向量。如果您使用外部创建的集合或希望使用不同名称的向量,可以通过提供其名称进行配置。元数据
Qdrant 将您的向量嵌入以及可选的 JSON-like 有效载荷存储起来。有效载荷是可选的,但由于 LangChain 假定嵌入是从文档生成的,我们保留上下文数据,以便您也可以提取原始文本。 默认情况下,您的文档将存储在以下有效载荷结构中:API 参考
有关所有QdrantVectorStore 功能和配置的详细文档,请参阅 API 参考:python.langchain.com/api_reference/qdrant/qdrant/langchain_qdrant.qdrant.QdrantVectorStore.html
以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。