跳到主要内容
Apify 数据集是一种可扩展的、仅支持追加、可顺序访问的存储，专为存储结构化的网络抓取结果而构建，例如产品列表或谷歌 SERP，然后可以将其导出为 JSON、CSV 或 Excel 等多种格式。数据集主要用于保存 Apify Actors 的结果——这些是用于各种网络抓取、爬行和数据提取用例的无服务器云程序。
本笔记本展示了如何将 Apify 数据集加载到 LangChain 中。

​
先决条件

您需要在 Apify 平台上有一个现有的数据集。本示例展示了如何加载由 Website Content Crawler 生成的数据集。 
pip install -qU langchain langchain-apify langchain-openai
首先，将 `ApifyDatasetLoader` 导入到您的源代码中 
from langchain_apify import ApifyDatasetLoader
from langchain_core.documents import Document
找到您的 Apify API 令牌和 OpenAI API 密钥，并将它们初始化为环境变量 
import os

os.environ["APIFY_API_TOKEN"] = "your-apify-api-token"
os.environ["OPENAI_API_KEY"] = "your-openai-api-key"
然后提供一个函数，将 Apify 数据集记录的字段映射到 LangChain 的 Document 格式。例如，如果您的数据集项结构如下：
{
    "url": "https://apify.com",
    "text": "Apify is the best web scraping and automation platform."
}
以下代码中的映射函数会将其转换为 LangChain 的 Document 格式，以便您可以将它们与任何 LLM 模型进一步使用（例如，用于问答）。 
loader = ApifyDatasetLoader(
    dataset_id="your-dataset-id",
    dataset_mapping_function=lambda dataset_item: Document(
        page_content=dataset_item["text"], metadata={"source": dataset_item["url"]}
    ),
)

data = loader.load()

​
一个问答示例

在本示例中，我们使用数据集中的数据来回答一个问题。 
from langchain.indexes import VectorstoreIndexCreator
from langchain_apify import ApifyWrapper
from langchain_core.documents import Document
from langchain_core.vectorstores import InMemoryVectorStore
from langchain_openai import ChatOpenAI
from langchain_openai.embeddings import OpenAIEmbeddings

loader = ApifyDatasetLoader(
    dataset_id="your-dataset-id",
    dataset_mapping_function=lambda item: Document(
        page_content=item["text"] or "", metadata={"source": item["url"]}
    ),
)

index = VectorstoreIndexCreator(
    vectorstore_cls=InMemoryVectorStore, embedding=OpenAIEmbeddings()
).from_loaders([loader])

llm = ChatOpenAI(model="gpt-4o-mini")

query = "What is Apify?"
result = index.query_with_sources(query, llm=llm)

print(result["answer"])
print(result["sources"])

 Apify is a platform for developing, running, and sharing serverless cloud programs. It enables users to create web scraping and automation tools and publish them on the Apify platform.

https://docs.apify.com/platform/actors, https://docs.apify.com/platform/actors/running/actors-in-store, https://docs.apify.com/platform/security, https://docs.apify.com/platform/actors/examples
在 GitHub 上编辑此页面源文件。
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.