Infino 是一个开源的可观测性平台,它同时存储指标和应用程序日志。
Infino 的主要功能包括:
- 指标追踪:捕获 LLM 模型处理请求所花费的时间、错误、令牌数量以及特定 LLM 的成本指示。
- 数据追踪:记录和存储每个 LangChain 交互的提示、请求和响应数据。
- 图表可视化:随时间生成基本图表,描绘请求持续时间、错误发生次数、令牌计数和成本等指标。
安装和设置
首先,您需要安装infinopy Python 包,如下所示:
Infino Server 在运行,那么您就可以开始使用了;但如果您没有,请按照以下步骤启动它:
- 确保您已安装 Docker。
- 在您的终端中运行以下命令:
使用 Infino
请参阅InfinoCallbackHandler 的使用示例。
以编程方式连接这些文档到 Claude、VSCode 等,通过 MCP 获取实时答案。