LocalAI 是免费的开源 OpenAI 替代方案。LocalAI 作为与 OpenAI API 规范兼容的替代 REST API，用于本地推理。它允许您在本地或内部使用消费级硬件运行 LLM、生成图像、音频（等等），支持多种模型家族和架构。
为了实现适当的兼容性，请确保您正在使用 0.x 版本的
openai SDK。langchain-localai 是 LocalAI 的第三方集成包。它提供了一种在 LangChain 中使用 LocalAI 服务的简单方法。源代码可在 Github 上获取。安装和设置
我们需要安装几个 python 包嵌入模型
请参阅使用示例。以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。