跳到主要内容

​
概览

本教程将带您熟悉 LangChain 的文档加载器、嵌入和向量存储抽象。这些抽象旨在支持从（向量）数据库和其他来源检索数据，以便与 LLM 工作流集成。它们对于在模型推理过程中获取数据以进行推理的应用程序非常重要，例如检索增强生成（RAG）。 在这里，我们将基于 PDF 文档构建一个搜索引擎。这将使我们能够检索 PDF 中与输入查询相似的段落。该指南还包括一个基于搜索引擎的最小 RAG 实现。

​
概念

本指南重点介绍文本数据的检索。我们将涵盖以下概念

​
设置

​
安装

本指南需要 @langchain/community 和 pdf-parse 
npm i @langchain/community pdf-parse
有关更多详细信息，请参阅我们的安装指南。

​
LangSmith

您使用 LangChain 构建的许多应用程序将包含多个步骤和多次 LLM 调用。随着这些应用程序变得越来越复杂，能够准确检查您的链或代理内部发生了什么变得至关重要。最好的方法是使用 LangSmith。 在您通过上面的链接注册后，请务必设置您的环境变量以开始记录跟踪：
export LANGSMITH_TRACING="true"
export LANGSMITH_API_KEY="..."

​
1. 文档和文档加载器

LangChain 实现了一个 Document 抽象，旨在表示文本单元和相关的元数据。它具有三个属性
  • pageContent：表示内容的字符串；
  • metadata：包含任意元数据的字典；
  • id：（可选）文档的字符串标识符。
metadata 属性可以捕获有关文档来源、其与其他文档的关系以及其他信息。请注意，单个 Document 对象通常表示较大文档的一个块。 我们可以根据需要生成示例文档：
import { Document } from "@langchain/core/documents";

const documents = [
  new Document({
    pageContent:
      "Dogs are great companions, known for their loyalty and friendliness.",
    metadata: { source: "mammal-pets-doc" },
  }),
  new Document({
    pageContent: "Cats are independent pets that often enjoy their own space.",
    metadata: { source: "mammal-pets-doc" },
  }),
];
然而，LangChain 生态系统实现了与数百种常见来源集成的文档加载器。这使得将这些来源的数据轻松集成到您的 AI 应用程序中。

​
加载文档

让我们将 PDF 加载到一系列 Document 对象中。这里有一个示例 PDF — 2023 年耐克的 10-k 备案文件。我们可以查阅 LangChain 文档中可用的 PDF 文档加载器。 
import { PDFLoader } from "@langchain/community/document_loaders/fs/pdf";

const loader = new PDFLoader("../../data/nke-10k-2023.pdf");

const docs = await loader.load();
console.log(docs.length);

107
PDFLoader 为每个 PDF 页面加载一个 Document 对象。对于每个对象，我们可以轻松访问
  • 页面的字符串内容；
  • 包含文件名和页码的元数据。
console.log(docs[0].pageContent.slice(0, 200));

Table of Contents
UNITED STATES
SECURITIES AND EXCHANGE COMMISSION
Washington, D.C. 20549
FORM 10-K
(Mark One)
☑ ANNUAL REPORT PURSUANT TO SECTION 13 OR 15(D) OF THE SECURITIES EXCHANGE ACT OF 1934
FO

console.log(docs[0].metadata);

{
  source: '../../data/nke-10k-2023.pdf',
  pdf: {
    version: '1.10.100',
    info: {
      PDFFormatVersion: '1.4',
      IsAcroFormPresent: false,
      IsXFAPresent: false,
      Title: '0000320187-23-000039',
      Author: 'EDGAR Online, a division of Donnelley Financial Solutions',
      Subject: 'Form 10-K filed on 2023-07-20 for the period ending 2023-05-31',
      Keywords: '0000320187-23-000039; ; 10-K',
      Creator: 'EDGAR Filing HTML Converter',
      Producer: 'EDGRpdf Service w/ EO.Pdf 22.0.40.0',
      CreationDate: "D:20230720162200-04'00'",
      ModDate: "D:20230720162208-04'00'"
    },
    metadata: null,
    totalPages: 107
  },
  loc: { pageNumber: 1 }
}

​
拆分

对于信息检索和下游问答目的，页面可能是一个过于粗糙的表示。我们最终的目标是检索能够回答输入查询的 Document 对象，进一步拆分我们的 PDF 将有助于确保文档相关部分的含义不会被周围的文本“冲淡”。 我们可以为此目的使用文本分割器。在这里，我们将使用一个简单的文本分割器，它根据字符进行分区。我们将文档分割成 1000 个字符的块，块之间有 200 个字符的重叠。重叠有助于减轻将语句与其相关的重要上下文分离的可能性。我们使用 RecursiveCharacterTextSplitter，它将使用换行符等常见分隔符递归分割文档，直到每个块都达到适当的大小。这是通用文本用例推荐的文本分割器。
import { RecursiveCharacterTextSplitter } from "@langchain/textsplitters";

const textSplitter = new RecursiveCharacterTextSplitter({
  chunkSize: 1000,
  chunkOverlap: 200,
});

const allSplits = await textSplitter.splitDocuments(docs);

console.log(allSplits.length);

514

​
2. 嵌入

向量搜索是存储和搜索非结构化数据（例如非结构化文本）的常用方法。其思想是存储与文本关联的数值向量。给定一个查询，我们可以将其嵌入为相同维度的向量，并使用向量相似度度量（例如余弦相似度）来识别相关文本。 LangChain 支持数十个提供商的嵌入。这些模型指定了如何将文本转换为数值向量。让我们选择一个模型：
  • OpenAI
  • Azure
  • AWS
  • VertexAI
  • MistralAI
  • Cohere
npm i @langchain/openai

import { OpenAIEmbeddings } from "@langchain/openai";

const embeddings = new OpenAIEmbeddings({
  model: "text-embedding-3-large"
});

const vector1 = await embeddings.embedQuery(allSplits[0].pageContent);
const vector2 = await embeddings.embedQuery(allSplits[1].pageContent);

assert vector1.length === vector2.length;
console.log(`Generated vectors of length ${vector1.length}\n`);
console.log(vector1.slice(0, 10));

Generated vectors of length 1536

[-0.008586574345827103, -0.03341241180896759, -0.008936782367527485, -0.0036674530711025, 0.010564599186182022, 0.009598285891115665, -0.028587326407432556, -0.015824200585484505, 0.0030416189692914486, -0.012899317778646946]
有了用于生成文本嵌入的模型，我们接下来可以将其存储在一个特殊的数据结构中，该结构支持高效的相似性搜索。

​
3. 向量存储

LangChain @[VectorStore] 对象包含将文本和 Document 对象添加到存储中，以及使用各种相似性度量查询它们的方法。它们通常用嵌入模型初始化，这些模型决定文本数据如何转换为数值向量。 LangChain 包含一套与不同向量存储技术集成的集成。有些向量存储由提供商托管（例如，各种云提供商），需要特定凭据才能使用；有些（例如 Postgres）在可以本地运行或通过第三方运行的独立基础设施中运行；其他向量存储可以在内存中运行以进行轻量级工作负载。让我们选择一个向量存储：
  • 内存
  • Chroma
  • FAISS
  • MongoDB
  • PGVector
  • Pinecone
  • Qdrant
npm i @langchain/classic

import { MemoryVectorStore } from "@langchain/classic/vectorstores/memory";

const vectorStore = new MemoryVectorStore(embeddings);
实例化向量存储后，我们现在可以对文档进行索引。 
await vectorStore.addDocuments(allSplits);
请注意，大多数向量存储实现都允许您连接到现有的向量存储——例如，通过提供客户端、索引名称或其他信息。有关特定集成的更多详细信息，请参阅文档。 一旦我们实例化了一个包含文档的 @[VectorStore]，我们就可以查询它了。@[VectorStore] 包含用于查询的方法：
  • 同步和异步；
  • 按字符串查询和按向量查询；
  • 返回或不返回相似度分数；
  • 按相似度和 @[最大边际相关性][VectorStore.max_marginal_relevance_search]（平衡查询相似度与检索结果多样性）。
这些方法通常会在其输出中包含一个 Document 对象列表。 用法 嵌入通常将文本表示为“密集”向量，使得具有相似含义的文本在几何上是接近的。这使我们只需输入一个问题即可检索相关信息，而无需了解文档中使用的任何特定关键词。 根据与字符串查询的相似度返回文档：
const results1 = await vectorStore.similaritySearch(
  "When was Nike incorporated?"
);

console.log(results1[0]);

Document {
    pageContent: 'direct to consumer operations sell products...',
    metadata: {'page': 4, 'source': '../example_data/nke-10k-2023.pdf', 'start_index': 3125}
}
返回分数 
const results2 = await vectorStore.similaritySearchWithScore(
  "What was Nike's revenue in 2023?"
);

console.log(results2[0]);

Score: 0.23699893057346344

Document {
    pageContent: 'Table of Contents...',
    metadata: {'page': 35, 'source': '../example_data/nke-10k-2023.pdf', 'start_index': 0}
}
根据与嵌入式查询的相似度返回文档 
const embedding = await embeddings.embedQuery(
  "How were Nike's margins impacted in 2023?"
);

const results3 = await vectorStore.similaritySearchVectorWithScore(
  embedding,
  1
);

console.log(results3[0]);

Document {
    pageContent: 'FISCAL 2023 COMPARED TO FISCAL 2022...',
    metadata: {
        'page': 36,
        'source': '../example_data/nke-10k-2023.pdf',
        'start_index': 0
    }
}
了解更多

​
4. 检索器

LangChain @[VectorStore] 对象不继承 @[Runnable]。LangChain @[Retrievers] 是 Runnable，因此它们实现了一组标准方法（例如，同步和异步 invoke 和 batch 操作）。虽然我们可以从向量存储构建检索器，但检索器也可以与非向量存储数据源（例如外部 API）进行接口。 向量存储实现了一个 as_retriever 方法，该方法将生成一个检索器，特别是 VectorStoreRetriever。这些检索器包含特定的 search_type 和 search_kwargs 属性，用于标识要调用底层向量存储的哪些方法以及如何对其进行参数化。例如，我们可以通过以下方式复制上述内容：
const retriever = vectorStore.asRetriever({
  searchType: "mmr",
  searchKwargs: {
    fetchK: 1,
  },
});

await retriever.batch([
  "When was Nike incorporated?",
  "What was Nike's revenue in 2023?",
]);

[
    [Document {
        metadata: {'page': 4, 'source': '../example_data/nke-10k-2023.pdf', 'start_index': 3125},
        pageContent: 'direct to consumer operations sell products...',
    }],
    [Document {
        metadata: {'page': 3, 'source': '../example_data/nke-10k-2023.pdf', 'start_index': 0},
        pageContent: 'Table of Contents...',
    }],
]
检索器可以很容易地集成到更复杂的应用程序中，例如检索增强生成（RAG）应用程序，这些应用程序将给定问题与检索到的上下文结合到 LLM 的提示中。要了解更多关于构建此类应用程序的信息，请查看RAG 教程。

​
后续步骤

您现在已经了解了如何基于 PDF 文档构建语义搜索引擎。 有关文档加载器的更多信息： 有关嵌入的更多信息 有关向量存储的更多信息 有关 RAG 的更多信息，请参阅
在 GitHub 上编辑此页面源文件。
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.