跳到主要内容
OpenLLM 让开发者可以通过单个命令将任何开源 LLM 作为兼容 OpenAI 的 API 端点运行。
  • 🔬 专为快速和生产用途而构建
  • 🚂 支持 llama3、qwen2、gemma 等，以及许多量化版本 完整列表
  • ⛓️ 兼容 OpenAI 的 API
  • 💬 内置 ChatGPT 类似的用户界面
  • 🔥 采用最先进的推理后端加速 LLM 解码
  • 🌥️ 可用于企业级云部署（Kubernetes、Docker 和 BentoCloud）

​
安装和设置

通过 PyPI 安装 OpenLLM 包 
pip install openllm

​
LLM

OpenLLM 支持广泛的开源 LLM，以及为用户自己的微调 LLM 提供服务。使用 openllm model 命令查看所有为 OpenLLM 预优化的可用模型。

​
包装器

有一个 OpenLLM 包装器，支持与运行中的 OpenLLM 服务器进行交互 
from langchain_community.llms import OpenLLM

​
OpenLLM 服务器的包装器

此包装器支持与 OpenLLM 兼容 OpenAI 的端点进行交互。 要运行模型，请执行：
openllm hello
包装器使用 
from langchain_community.llms import OpenLLM

llm = OpenLLM(base_url="https://:3000/v1", api_key="na")

llm("What is the difference between a duck and a goose? And why there are so many Goose in Canada?")

​
用法

有关 OpenLLM 包装器的更详细说明，请参阅示例笔记本
在 GitHub 上编辑此页面源文件。
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.