跳到主要内容
记忆是一个系统,它能记住先前交互的信息。对于 AI 代理来说,记忆至关重要,因为它使它们能够记住先前的交互、从反馈中学习并适应用户偏好。随着代理处理需要大量用户交互的更复杂任务,这种能力对于效率和用户满意度都变得至关重要。 本概念指南涵盖两种类型的记忆,根据其回忆范围:
  • 短期记忆,或线程范围的记忆,通过维护会话中的消息历史来跟踪正在进行的对话。LangGraph 将短期记忆作为代理状态的一部分进行管理。状态使用检查点器持久化到数据库,以便线程可以随时恢复。短期记忆在图被调用或步骤完成时更新,并在每个步骤开始时读取状态。
  • 长期记忆在不同会话之间存储用户特定或应用程序级别的数据,并在对话线程之间共享。它可以随时在任何线程中被召回。记忆可以限定在任何自定义命名空间,而不仅仅是在单个线程 ID 中。LangGraph 提供存储参考文档)以允许您保存和召回长期记忆。

短期记忆

短期记忆让您的应用程序能够记住单个线程或对话中的先前交互。一个线程在一个会话中组织多个交互,类似于电子邮件在一个对话中分组消息的方式。 LangGraph 将短期记忆作为代理状态的一部分进行管理,通过线程范围的检查点进行持久化。此状态通常可以包括对话历史以及其他有状态数据,例如上传的文件、检索到的文档或生成的工件。通过将这些存储在图的状态中,机器人可以访问给定对话的完整上下文,同时保持不同线程之间的分离。

管理短期记忆

对话历史是最常见的短期记忆形式,而长对话对当今的 LLM 构成了挑战。完整的历史可能不适合 LLM 的上下文窗口,导致不可恢复的错误。即使您的 LLM 支持完整的上下文长度,大多数 LLM 在长上下文中表现仍然不佳。它们会被过时或偏离主题的内容“分心”,同时还会导致响应时间变慢和成本更高。 聊天模型使用消息接受上下文,其中包括开发者提供的指令(系统消息)和用户输入(人类消息)。在聊天应用程序中,消息在人类输入和模型响应之间交替,导致消息列表随时间增长。由于上下文窗口有限且富含 token 的消息列表可能成本高昂,许多应用程序可以从使用技术手动删除或忘记过时信息中受益。 有关管理消息的常见技术的更多信息,请参阅添加和管理记忆指南。

长期记忆

LangGraph 中的长期记忆允许系统在不同的对话或会话中保留信息。与**线程范围**的短期记忆不同,长期记忆存储在自定义的“命名空间”中。 长期记忆是一个复杂的挑战,没有一劳永逸的解决方案。然而,以下问题提供了一个框架来帮助您浏览不同的技术:
  • 记忆的类型是什么?人类使用记忆来记住事实(语义记忆)、经历(情景记忆)和规则(程序记忆)。AI 代理也可以以同样的方式使用记忆。例如,AI 代理可以使用记忆来记住用户的具体事实以完成任务。
  • 何时更新记忆?记忆可以作为代理应用程序逻辑的一部分进行更新(例如,“在热路径上”)。在这种情况下,代理通常会在回应用户之前决定记住事实。或者,记忆可以作为后台任务进行更新(在后台异步运行并生成记忆的逻辑)。我们将在下面一节解释这些方法之间的权衡。
不同的应用程序需要各种类型的记忆。尽管类比并不完美,但考察人类记忆类型可能会很有启发。一些研究(例如,CoALA 论文)甚至将这些人类记忆类型映射到 AI 代理中使用的记忆类型。
记忆类型存储内容人类示例代理示例
语义事实我在学校学到的东西关于用户的事实
情景经历我做过的事情过去的代理动作
程序指令本能或运动技能代理系统提示

语义记忆

语义记忆,无论是人类还是 AI 代理,都涉及对特定事实和概念的保留。在人类中,它可能包括在学校学到的信息以及对概念及其关系的理解。对于 AI 代理,语义记忆通常用于通过记住过去交互中的事实或概念来个性化应用程序。
语义记忆不同于“语义搜索”,后者是使用“意义”(通常作为嵌入)查找相似内容的技术。语义记忆是心理学中的一个术语,指的是存储事实和知识,而语义搜索是一种根据意义而非精确匹配检索信息的方法。
语义记忆可以通过不同的方式管理

档案

记忆可以是一个单一的、持续更新的“档案”,其中包含关于用户、组织或其他实体(包括代理本身)的范围明确的特定信息。档案通常只是一个 JSON 文档,其中包含您选择的各种键值对,以表示您的领域。 在记住档案时,您需要确保每次都**更新**档案。因此,您需要传入先前的档案并要求模型生成一个新的档案(或一些适用于旧档案的JSON 补丁)。随着档案变大,这可能会变得容易出错,并且可能需要将档案拆分为多个文档或在生成文档时进行**严格**解码,以确保记忆模式保持有效。

集合

或者,记忆可以是随着时间持续更新和扩展的文档集合。每个单独的记忆可以更窄的范围且更容易生成,这意味着您不太可能随着时间推移而**丢失**信息。对于 LLM 来说,为新信息生成*新*对象比将新信息与现有档案进行协调更容易。因此,文档集合往往会带来更高的下游召回率 然而,这将一些复杂性转移到了记忆更新上。模型现在必须*删除*或*更新*列表中的现有项目,这可能很棘手。此外,有些模型可能会默认过度插入,而有些则可能会默认过度更新。有关管理此问题的一种方法,请参阅Trustcall包,并考虑评估(例如,使用LangSmith等工具)以帮助您调整行为。 使用文档集合还会将复杂性转移到对列表进行记忆**搜索**。`Store` 目前支持语义搜索按内容筛选 最后,使用记忆集合可能会使向模型提供全面上下文变得具有挑战性。虽然单个记忆可能遵循特定的模式,但此结构可能无法捕获记忆之间的完整上下文或关系。因此,当使用这些记忆生成响应时,模型可能缺乏统一档案方法中更容易获得的重要的上下文信息。 无论记忆管理方法如何,核心点是代理将使用语义记忆来支撑其响应,这通常会带来更个性化和相关的交互。

情景记忆

情景记忆,无论是人类还是 AI 代理,都涉及回忆过去的事件或行为。CoALA 论文很好地阐述了这一点:事实可以写入语义记忆,而*经验*可以写入情景记忆。对于 AI 代理,情景记忆通常用于帮助代理记住如何完成任务。 在实践中,情景记忆通常通过少样本示例提示来实现,即代理从过去的序列中学习以正确执行任务。有时“展示”比“告知”更容易,LLM 善于从示例中学习。少样本学习让您可以通过使用输入-输出示例更新提示来“编程”您的 LLM,以说明预期的行为。虽然可以使用各种最佳实践来生成少样本示例,但通常的挑战在于根据用户输入选择最相关的示例。 请注意,记忆存储只是存储数据作为少样本示例的一种方式。如果您希望有更多的开发者参与,或者将少样本与您的评估工具更紧密地结合,您还可以使用LangSmith 数据集来存储您的数据。然后,可以开箱即用地使用动态少样本示例选择器来实现相同的目标。LangSmith 将为您索引数据集,并根据关键词相似性(使用 BM25 算法进行关键词相似性)检索与用户输入最相关的少样本示例。 请参阅此操作方法视频,了解 LangSmith 中动态少样本示例用法的示例。此外,请参阅此博客文章,展示如何使用少样本提示来提高工具调用性能,以及此博客文章,使用少样本示例使 LLM 与人类偏好保持一致。

程序记忆

程序记忆,无论是人类还是 AI 代理,都涉及记住执行任务所使用的规则。在人类中,程序记忆类似于内在化的执行任务的知识,例如通过基本运动技能和平衡骑自行车。另一方面,情景记忆涉及回忆特定经历,例如第一次成功不带辅助轮骑自行车,或者一次难忘的风景自行车骑行。对于 AI 代理,程序记忆是模型权重、代理代码和代理提示的组合,它们共同决定了代理的功能。 在实践中,代理修改其模型权重或重写其代码的情况相当罕见。然而,代理修改自己的提示则更为常见。 完善代理指令的一种有效方法是通过“反思”或元提示。这涉及使用其当前指令(例如,系统提示)以及最近的对话或明确的用户反馈来提示代理。然后,代理根据此输入完善自己的指令。这种方法对于难以预先指定指令的任务特别有用,因为它允许代理从其交互中学习和适应。 例如,我们构建了一个推文生成器,利用外部反馈和提示重写为 Twitter 生成高质量的论文摘要。在这种情况下,具体的摘要提示很难*先验地*指定,但用户很容易批评生成的推文并提供如何改进摘要过程的反馈。 下面的伪代码展示了如何使用 LangGraph 记忆存储来实现这一点,使用存储来保存提示,`update_instructions` 节点获取当前提示(以及从与用户的对话中捕获的 `state["messages"]` 中的反馈),更新提示,并将新提示保存回存储。然后,`call_model` 从存储中获取更新的提示并使用它来生成响应。
# Node that *uses* the instructions
def call_model(state: State, store: BaseStore):
    namespace = ("agent_instructions", )
    instructions = store.get(namespace, key="agent_a")[0]
    # Application logic
    prompt = prompt_template.format(instructions=instructions.value["instructions"])
    ...

# Node that updates instructions
def update_instructions(state: State, store: BaseStore):
    namespace = ("instructions",)
    instructions = store.search(namespace)[0]
    # Memory logic
    prompt = prompt_template.format(instructions=instructions.value["instructions"], conversation=state["messages"])
    output = llm.invoke(prompt)
    new_instructions = output['new_instructions']
    store.put(("agent_instructions",), "agent_a", {"instructions": new_instructions})
    ...

写入记忆

代理写入记忆有两种主要方法:“在热路径中”“在后台中”

热路径中

在运行时创建记忆既有优点也有挑战。积极的一面是,这种方法允许实时更新,使新记忆立即可用于后续交互。它还实现了透明性,因为用户可以在记忆创建和存储时收到通知。 然而,这种方法也带来了挑战。如果代理需要新工具来决定将什么提交到记忆中,它可能会增加复杂性。此外,推理要保存到记忆中的过程可能会影响代理的延迟。最后,代理必须在记忆创建和其其他职责之间进行多任务处理,这可能会影响创建记忆的数量和质量。 例如,ChatGPT 使用 save_memories 工具来插入记忆作为内容字符串,并决定是否以及如何使用此工具处理每条用户消息。请参阅我们的 memory-agent 模板作为参考实现。

后台中

将记忆创建作为独立的后台任务有几个优点。它消除了主应用程序中的延迟,将应用程序逻辑与记忆管理分离,并允许代理更专注于任务完成。这种方法还提供了在避免冗余工作时灵活安排记忆创建时间的可能性。 然而,这种方法也有其自身的挑战。确定记忆写入频率至关重要,因为不频繁的更新可能会导致其他线程缺乏新的上下文。决定何时触发记忆形成也很重要。常见策略包括在设定的时间段后安排(如果发生新事件则重新安排)、使用 cron 计划或允许用户或应用程序逻辑手动触发。 请参阅我们的memory-service模板作为参考实现。

记忆存储

LangGraph 将长期记忆作为 JSON 文档存储在存储中。每个记忆都组织在一个自定义的 `namespace`(类似于文件夹)和一个独特的 `key`(像文件名)下。命名空间通常包括用户或组织 ID 或其他标签,以便更轻松地组织信息。这种结构实现了记忆的层次化组织。然后通过内容过滤器支持跨命名空间搜索。
from langgraph.store.memory import InMemoryStore


def embed(texts: list[str]) -> list[list[float]]:
    # Replace with an actual embedding function or LangChain embeddings object
    return [[1.0, 2.0] * len(texts)]


# InMemoryStore saves data to an in-memory dictionary. Use a DB-backed store in production use.
store = InMemoryStore(index={"embed": embed, "dims": 2})
user_id = "my-user"
application_context = "chitchat"
namespace = (user_id, application_context)
store.put(
    namespace,
    "a-memory",
    {
        "rules": [
            "User likes short, direct language",
            "User only speaks English & python",
        ],
        "my-key": "my-value",
    },
)
# get the "memory" by ID
item = store.get(namespace, "a-memory")
# search for "memories" within this namespace, filtering on content equivalence, sorted by vector similarity
items = store.search(
    namespace, filter={"my-key": "my-value"}, query="language preferences"
)
有关记忆存储的更多信息,请参阅持久化指南。
以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.