跳到主要内容
langchain-nvidia-ai-endpoints 包包含了 LangChain 集成，用于构建基于 NVIDIA NIM 推理微服务模型的应用程序。NIM 支持来自社区以及 NVIDIA 的聊天、嵌入和重新排序模型等多个领域的模型。这些模型经 NVIDIA 优化，可在 NVIDIA 加速基础设施上提供最佳性能，并以 NIM 的形式部署，NIM 是易于使用的预构建容器，只需一条命令即可在 NVIDIA 加速基础设施上的任何地方部署。 NVIDIA 托管的 NIM 部署可在 NVIDIA API catalog 上进行测试。测试后，NIM 可以使用 NVIDIA AI Enterprise 许可证从 NVIDIA 的 API catalog 导出，并在本地或云端运行，从而使企业能够拥有并完全控制其 IP 和 AI 应用程序。 NIM 以每个模型的容器镜像形式打包，并通过 NVIDIA NGC Catalog 作为 NGC 容器镜像分发。NIM 的核心是为 AI 模型提供简单、一致且熟悉的推理 API。 下面是一个关于如何使用文本生成和嵌入模型的一些常见功能的示例。

​
安装

pip install -qU langchain-nvidia-ai-endpoints

​
设置

入门
  1. 在托管 NVIDIA AI Foundation 模型的 NVIDIA 创建一个免费帐户。
  2. 单击您选择的模型。
  3. 在“输入”下选择“Python”选项卡，然后单击 Get API Key。然后单击 Generate Key。
  4. 复制并保存生成的密钥，命名为 NVIDIA_API_KEY。从那时起，您应该可以访问这些端点。 
import getpass
import os

if not os.environ.get("NVIDIA_API_KEY", "").startswith("nvapi-"):
    nvidia_api_key = getpass.getpass("Enter your NVIDIA API key: ")
    assert nvidia_api_key.startswith("nvapi-"), f"{nvidia_api_key[:5]}... is not a valid key"
    os.environ["NVIDIA_API_KEY"] = nvidia_api_key

​
使用 NVIDIA API Catalog

from langchain_nvidia_ai_endpoints import ChatNVIDIA

llm = ChatNVIDIA(model="mistralai/mixtral-8x22b-instruct-v0.1")
result = llm.invoke("Write a ballad about LangChain.")
print(result.content)
使用 API，您可以查询 NVIDIA API Catalog 上提供的实时端点，以从 DGX 托管的云计算环境中获取快速结果。所有模型都可访问源代码，并且可以使用 NVIDIA NIM（NVIDIA AI Enterprise 的一部分）部署在您自己的计算集群上，如下一节 使用 NVIDIA NIM 中所示。

​
使用 NVIDIA NIM

准备部署时，您可以使用 NVIDIA NIM（包含在 NVIDIA AI Enterprise 软件许可证中）自托管模型，并在任何地方运行它们，从而让您拥有自定义的所有权并完全控制您的知识产权 (IP) 和 AI 应用程序。 了解更多关于 NIM 的信息
from langchain_nvidia_ai_endpoints import ChatNVIDIA, NVIDIAEmbeddings, NVIDIARerank

# connect to a chat NIM running at localhost:8000, specifying a model
llm = ChatNVIDIA(base_url="https://:8000/v1", model="meta/llama3-8b-instruct")

# connect to an embedding NIM running at localhost:8080
embedder = NVIDIAEmbeddings(base_url="https://:8080/v1")

# connect to a reranking NIM running at localhost:2016
ranker = NVIDIARerank(base_url="https://:2016/v1")

​
使用 NVIDIA AI 基础端点

LangChain 直接支持一系列 NVIDIA AI Foundation 模型，并提供熟悉的 API。 支持的活动模型可在 API Catalog 中找到。 以下示例可能对您入门有所帮助：
在 GitHub 上编辑此页面源文件。
以编程方式连接这些文档到 Claude、VSCode 等，通过 MCP 获取实时答案。
© . This site is unofficial and not affiliated with LangChain, Inc.