LangSmith 允许您在应用程序中手动为跟踪添加反馈。这对于为跟踪添加上下文非常有用,例如用户的评论或关于特定问题的备注。您可以内联标注跟踪,或将跟踪发送到标注队列,这允许您仔细检查并一次记录一个运行的反馈。反馈标签与您的工作区关联。
您可以将用户反馈附加到跟踪的任何中间运行(span),而不仅仅是根 span。这对于批判 LLM 应用程序的特定部分非常有用,例如 RAG 管道的检索步骤或生成步骤。
要内联标注跟踪,请单击任何作为跟踪一部分的特定运行的跟踪视图右上角的Annotate。
这将打开一个窗格,允许您从与您的工作区关联的反馈标签中进行选择,并为特定标签添加分数。您还可以添加一个独立的评论。请遵循本指南为您的工作区设置反馈标签。您也可以在窗格内设置新的反馈标准。
您可以使用标记的键盘快捷键简化标注过程。