跳到主要内容
ScrapeGraph AI 是一项提供 AI 驱动的网页抓取功能的服。它提供用于提取结构化数据、将网页转换为 Markdown 以及使用自然语言提示处理本地 HTML 内容的工具。

​
安装和设置

安装所需软件包 
pip install langchain-scrapegraph
设置您的 API 密钥 
export SGAI_API_KEY="your-scrapegraph-api-key"

​
工具

请参阅使用示例。 共有四种可用工具：
from langchain_scrapegraph.tools import (
    SmartScraperTool,    # Extract structured data from websites
    SmartCrawlerTool,    # Extract data from multiple pages with crawling
    MarkdownifyTool,     # Convert webpages to markdown
    AgenticScraperTool,  # Extract specifying steps
    GetCreditsTool,      # Check remaining API credits
)
每种工具都有其特定用途
  • SmartScraperTool：从给定 URL、提示和可选输出模式的网站中提取结构化数据
  • SmartCrawlerTool：通过高级抓取选项（如深度控制、页面限制和域限制）从多个页面提取数据
  • MarkdownifyTool：将任何网页转换为干净的 Markdown 格式
  • AgenticScraperTool：提取指定步骤
  • GetCreditsTool：检查您剩余的 ScrapeGraph AI 积分
在 GitHub 上编辑此页面源文件。
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.