Google Drive 是由 Google 开发的文件存储和同步服务。本 Notebook 介绍了如何从
Google Drive 加载文档。目前,仅支持 Google Docs。
先决条件
- 创建 Google Cloud 项目或使用现有项目
- 启用 Google Drive API
- 授权桌面应用程序的凭据
pip install -U google-api-python-client google-auth-httplib2 google-auth-oauthlib
🧑 导入 Google Docs 数据的说明
将环境变量GOOGLE_APPLICATION_CREDENTIALS 设置为空字符串 ("")。 默认情况下,GoogleDriveLoader 期望 credentials.json 文件位于 ~/.credentials/credentials.json,但这可以通过 credentials_path 关键字参数进行配置。token.json 也是如此 - 默认路径:~/.credentials/token.json,构造函数参数:token_path。 首次使用 GoogleDriveLoader 时,浏览器中将显示用户认证的同意屏幕。认证后,token.json 将在提供或默认的路径自动创建。此外,如果该路径已存在 token.json,则不会提示认证。 GoogleDriveLoader 可以从 Google Docs 文档 ID 列表或文件夹 ID 加载。您可以从 URL 获取文件夹和文档 ID:- 文件夹:drive.google.com/drive/u/0/folders/1yucgL9WGgWZdM1TOuKkeghlPizuzMYb5 -> 文件夹 ID 是
"1yucgL9WGgWZdM1TOuKkeghlPizuzMYb5" - 文档:docs.google.com/document/d/1bfaMQ18_i56204VaQDVeAFpqEijJTgvurupdEDiaUQw/edit -> 文档 ID 是
"1bfaMQ18_i56204VaQDVeAFpqEijJTgvurupdEDiaUQw"
folder_id 时,默认情况下会加载所有类型为文档、表格和 PDF 的文件。您可以通过传入 file_types 参数来修改此行为。
传入可选文件加载器
在处理 Google Docs 和 Google Sheets 之外的文件时,将可选文件加载器传递给GoogleDriveLoader 会很有帮助。如果您传入文件加载器,该文件加载器将用于没有 Google Docs 或 Google Sheets MIME 类型的文件。这是一个使用文件加载器从 Google Drive 加载 Excel 文档的示例。
扩展用法
一个外部(非官方)组件可以管理 Google Drive 的复杂性:langchain-googledrive。它与 langchain_community.document_loaders.GoogleDriveLoader 兼容,可以代替它使用。 为了兼容容器,身份验证使用环境变量 GOOGLE_ACCOUNT_FILE 作为凭证文件(用于用户或服务)。Document。
- text/text
- text/plain
- text/html
- text/csv
- text/markdown
- image/png
- image/jpeg
- application/epub+zip
- application/pdf
- application/rtf
- application/vnd.google-apps.document (GDoc)
- application/vnd.google-apps.presentation (GSlide)
- application/vnd.google-apps.spreadsheet (GSheet)
- application/vnd.google.colaboratory (Notebook colab)
- application/vnd.openxmlformats-officedocument.presentationml.presentation (PPTX)
- application/vnd.openxmlformats-officedocument.wordprocessingml.document (DOCX)
GDriveLoader 的文档。 但是,必须安装相应的包。加载身份认证
通过 Google Drive Loader 摄取的每个文件的授权身份可以与每个文档的元数据一起加载。加载扩展元数据
以下额外字段也可以在每个 Document 的元数据中获取- full_path - Google Drive 中文件/的完整路径。
- owner - 文件/的所有者。
- size - 文件/的大小。
自定义搜索模式
所有兼容 Googlelist() API 的参数都可以设置。 要指定 Google 请求的新模式,您可以使用 PromptTemplate()。提示的变量可以在构造函数中使用 kwargs 设置。建议使用一些预格式化的请求(使用 {query}、{folder_id} 和/或 {mime_type}): 您可以自定义选择文件的条件。提供了一组预定义过滤器:| 模板 | description |
|---|---|
| gdrive-all-in-folder | 从 folder_id 返回所有兼容文件 |
| gdrive-query | 在所有驱动器中搜索 query |
| gdrive-by-name | 按名称 query 搜索文件 |
| gdrive-query-in-folder | 在 folder_id 中搜索 query(如果 recursive=true,则包括子文件夹) |
| gdrive-mime-type | 搜索特定 mime_type |
| gdrive-mime-type-in-folder | 在 folder_id 中搜索特定 mime_type |
| gdrive-query-with-mime-type | 使用特定 mime_type 搜索 query |
| gdrive-query-with-mime-type-and-folder | 使用特定 mime_type 并在 folder_id 中搜索 query |
- 项目符号
- 链接
- 表格
- 标题
return_link 设置为 True 以导出链接。
GSlide 和 GSheet 模式
参数 mode 接受不同的值- “document”:返回每个文档的主体
- “snippets”:返回每个文件的描述(在 Google Drive 文件的元数据中设置)。
gslide_mode 接受不同的值
- “single”:一个文档,带 <PAGE BREAK>
- “slide”:每张幻灯片一个文档
- “elements”:每个元素一个文档。
gsheet_mode 接受不同的值
"single":每行生成一个文档"elements":一个文档,包含 markdown 数组和 <PAGE BREAK> 标签。
高级用法
所有 Google 文件在元数据中都有一个“description”字段。此字段可用于存储文档摘要或其他索引标签(请参阅方法lazy_update_description_with_summary())。 如果您使用 mode="snippet",则仅使用描述作为正文。否则,metadata['summary'] 将包含该字段。 有时,可以使用特定过滤器从文件名中提取一些信息,以根据特定条件选择文件。您可以使用过滤器。 有时,会返回许多文档。无需同时将所有文档都存储在内存中。您可以使用方法的惰性版本,一次获取一个文档。最好使用复杂的查询而不是递归搜索。对于每个文件夹,如果激活 recursive=True,则必须应用查询。以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。